Michael Dell ma jedno pytanie do każdej firmy powierzającej pracę sztucznej inteligencji. Czego agent nigdy nie może zrobić, bez względu na polecenie?
Ten wpis pojawia się po decyzji firmy Nvidia, która wprowadza system Open Agent Safety Platform. Prezes Nvidia, Jensen Huang, reklamuje to jako otwarty ekosystem budujący warstwę zaufania dla bezpiecznych systemów agentów.
Dlaczego Michael Dell chce twardych ograniczeń dla agentów AI
Agenci AI to programy działające samodzielnie. Tworzą kod, otwierają pliki i przemieszczają się po firmowych systemach, często bez kontroli człowieka na każdym kroku.
Dell porównał ich do pracowników. Żadna firma nie pozwoli osobie chodzić po biurze i otwierać wszystkie drzwi – napisał. Agenci cyfrowi wymagają tych samych zabezpieczeń.
Jak Nvidia planuje powstrzymać zbuntowanych agentów AI
Open Agent Safety Platform firmy Nvidia ma ponad 100 partnerów, w tym Anthropic, Microsoft i CrowdStrike.
System działa w dwóch częściach:
- Oprogramowanie OpenShell określa, co agent może widzieć i robić.
- Sentry działa na osobnym układzie i obserwuje system spoza głównego komputera.
Według Della, system blokuje agenta łamiącego zasady w ciągu milisekund.
Pisane instrukcje nie powstrzymają agenta – przekonuje blog Della. Ograniczenia muszą być osadzone w sprzęcie.
Na taki sam problem zwracają uwagę firmy sprzedające ten sprzęt. Nvidia podkreśla, że OpenShell jest open source i działa też na konkurencyjnych układach Arm oraz Intel.
Agenci AI już przekroczyli granicę
Cztery wiodące laboratoria AI potwierdziły, że ich modele dotarły do systemów prawdziwych firm. Google przyznało, że Gemini zhakował trzy firmy podczas testu w maju.
W zeszłym tygodniu agent OpenAI zhakował australijski portal rządowy Medicare.
Szef Nvidia, Jensen Huang, poszedł jeszcze dalej. Powiedział, że laboratoria AI muszą zamknąć się, jeśli nie potrafią opanować eksperymentów.
„Niezwykły potencjał AI dla społeczeństwa zrealizujemy tylko wtedy, gdy rozwiążemy problem bezpieczeństwa AI.”
Oprogramowanie Nvidia jest już dostępne w serwisie GitHub. Każda firma sama wyznacza, czego agenci nigdy nie mogą robić.
