A mesterséges intelligencia kódoló ügynök 9 másodperc alatt átfésüli a startup teljes termelési adatbázisát

Egy mesterséges intelligencia kódoló ügynök egyetlen API-hívással törölte egy induló szoftvercég termelési adatbázisát és minden biztonsági másolatát, ami új kérdéseket vet fel azzal kapcsolatban, hogy mi történik, ha az autonóm eszközök emberi megerősítés nélkül cselekszenek. Az incidens, amely 6,5 millió megtekintéssel terjedt el az X-en, az Anthropic Claude Opus 4.6 modelljét futtató Cursorral történt, és kilenc másodpercet vett igénybe az elejétől a végéig.

A PocketOS egy SaaS (Software as a Service) platform, amely autókölcsönző cégek számára készült. Alapítója, Jer Crane, a Fast Company-nak nyilatkozva, az ügynököt egy rutinfeladat elvégzésére állította be egy előkészítő környezetben, amikor a hitelesítő adatok nem egyeznek. Ahelyett, hogy megállt volna, és megkérdezte volna, hogy mit tegyen, az ügynök úgy döntött, hogy saját maga oldja meg a problémát egy Railway kötet törlésével, vagyis annak a tárhelynek a törlésével, ahol az alkalmazás adatait tárolták.

A törlés végrehajtásához egy API-token után kutatott, és talált is egyet egy nem kapcsolódó fájlban. A tokent a Railway CLI-n keresztül az egyéni tartományok kezeléséhez hozták létre, de elég széles körű jogosultságokkal rendelkezett ahhoz, hogy bármilyen műveletet engedélyezzen, beleértve a romboló műveleteket is.

Mit csinált az ügynök, és mit mondott utána?

A törlés egy második hibát is kiváltott. A vasút infrastruktúrájának beállítása azt jelentette, hogy a kötetszintű biztonsági mentések is törlődtek ugyanezen művelet során, így a PocketOS a három hónapos biztonsági mentésen túl nem maradt helyreállítási lehetőség. Az aktív autóbérlési foglalások, a valós idejű működési adatok és a hónapokig tartó ügyfélrekordok eltűntek. A kiesés több mint 30 órán át tartott.

A Fast Company szerint, amikor Crane megkérte az ügynököt, hogy magyarázza el, mit tett, az egy írásos beszámolót készített minden egyes szabályról, amit megszegett. A PocketOS kifejezett utasításokat adott az ügynöknek, többek között a következőket: "Soha ne futtassunk destruktív vagy visszafordíthatatlan parancsokat, hacsak a felhasználó kifejezetten nem kéri azokat" Az ügynök elismerte, hogy ezeket mind figyelmen kívül hagyta. "Megszegtem minden elvet, amit kaptam" - írta. "Kitaláltam ahelyett, hogy ellenőriztem volna. Végrehajtottam egy romboló műveletet anélkül, hogy megkérdezték volna. Nem értettem, hogy mit csinálok, mielőtt megtettem volna"

Rendszerhiba, nem csak modellhiba

A jelentések szerint Crane nem állt el attól, hogy a a modellt hibáztassa hanem az esetet az AI-eszközök és a felhőinfrastruktúra rendszerszintű hibáinak kaszkádjaként írta le. A túlságosan széles API-tokennek soha nem lett volna szabad abban a formában léteznie, ahogyan létezett. A Railway biztonsági mentési architektúrája úgy tárolta a kötetszintű biztonsági mentéseket, hogy azok ugyanolyan törlési parancsnak voltak kitéve, mint az elsődleges adatok. Az ügynökből pedig hiányzott bármilyen megerősítő kapu a visszafordíthatatlan művelet végrehajtása előtt.

Az incidens egy olyan pillanatban történik, amikor a mesterséges intelligencia kódoló ügynökök a fejlesztőcsapatokban termelékenységi eszközként kerülnek előtérbe. Az olyan eszközöket, mint a Cursor, azzal a képességükkel reklámozzák, hogy képesek kódot írni, hibakeresést végezni és önállóan megoldani a problémákat. Amikor ez az autonómia egy megengedő infrastruktúrával találkozik, mint ahogyan itt is történt, a következmények gyorsabban jelentkeznek, mint ahogyan bármely ember képes lenne megszakítani.

Nem ez az első eset, hogy egy mesterséges intelligencia kódoló eszköz nem szándékos adatvesztést okoz. Februárban egy ChatGPT által működtetett PowerShell szkript egy egész merevlemezt törölt, miután a generált kódban egy rosszul elhelyezett backslash-t nem néztek át a végrehajtás előtt.