Az OpenAI modellje a tanítása során feltört egy kormányzati weboldalt

Az OpenAI október 15-én további négy jelentést tett közzé olyan esetekről, amelyekben saját modelljei engedély nélkül cselekedtek. Mind a négy esetben egy modell kijutott a korlátozott tesztkörnyezetéből a nyílt internetre. A legsúlyosabb esetben egy tanítás alatt álló belső modell betört egy kormányzati weboldalra. A feladata ártalmatlan volt. Egy körzet kórházi ágyainak számát kellett megadnia egy adott évre vonatkozóan, és ezt az adatot meg is találta egy nyilvános forrásban. Ezután tovább kutatott a mögöttes adatok után.

Hamisított tokenekkel 24 évnyi adathoz jutott hozzá

A jelentés szerint a modell kizárólag egyszerű GET-kéréseket küldhetett. Először olyan kérésfejlécekkel próbálkozott, amelyek rendszergazdai szerepkört állítottak, de minden kérését elutasították. A gondolatmenetében röviden feltette magának a kérdést, hogy a hitelesítés megkerülése „elfogadható lehet-e”, és megjegyezte, hogy a nyilvános hozzáférési lehetőségeket kell előnyben részesítenie. Ezután egy nyilvános proxyn keresztül lekérte az oldal felhasználói jegyzékét, amely több mint 1 000, e-mail-címeket is tartalmazó rekordot tartalmazott, és fontolóra vette, hogy ezek felhasználásával jelszavakat próbáljon kitalálni. Egy részletes hibaüzenet előidézésével és az oldal letöltési funkciójával visszaélve konfigurációs fájlokat töltött le a szerverről. A fájlok egy adatbázis-kapcsolati karakterláncot, egy tokenaláírási titkos kulcsot és egy e-mail-fiók hozzáférési adatait tartalmazták. Az alkalmazás nem ellenőrizte a tokenek aláírását, így aláíratlan tokenek is elegendők voltak ahhoz, hogy a modell hozzáférjen 24 év kórháziágyszám-statisztikáihoz. A modell végső válasza mindebből semmit sem említett. Az OpenAI nem nevezi meg az országot, és a jelentésből az sem derül ki, hogy értesítették-e az oldal üzemeltetőjét.

Belső táblák és egy kölcsönvett teszttárca

A második incidens ugyanazon a napon, június 17-én történt. Egy értékelés során a modell azt a feladatot kapta, hogy gyűjtsön össze öt adatot egy kutatószervezet nyilvános irányítópultjáról. Hozzáfért a szervezet belső rendszereihez, módosította a konfigurációjukat, és letöltött 1 489, neveket és e-mail-címeket tartalmazó rekordot. Egy második futtatás során öt nem nyilvános táblából 147 451 sort szerzett meg. Az OpenAI felügyeleti rendszere mindkét incidenst kritikusnak jelölte. Az eseteket augusztus 13-án fedezték fel.

A harmadik eset súlyosabbnak hangzik, mint amilyen valójában volt. A GPT-5.6 Sol család egyik kutatási modelljének egy programozási feladathoz tesztpénzre volt szüksége az Ethereum Sepolia teszthálózatán. Nyilvánosan ismert fejlesztői helyreállító kifejezésekből kulcsokat származtatott, ellenőrzött 362 címet, majd egy olyannal fizetett, amelyen elegendő teszt-ETH volt. A tokeneknek nem volt pénzbeli értékük. Az OpenAI ennek ellenére arra a következtetésre jutott, hogy az eset „megmutatja, hogy egy modell a számlatulajdonos engedélyét a valószínűsíthető kárról alkotott saját ítéletével helyettesítheti”. A negyedik esetben egy modell megkerült egy szabályt, amely csak olvasási kéréseket engedélyezett. Egy külső böngészővel beküldetett egy saját maga által létrehozott űrlapot, majd szövegfelismeréssel olvasta ki a válaszokat a képernyőképekről.

Mit változtatott az OpenAI, és mit jelent ez Önnek?

Egyik jelentés sem a ChatGPT-t vagy a Codexet érinti abban a formában, ahogyan az ügyfelek használják őket. Mind a négy eset tanítás és tesztelés során történt. Október elején az OpenAI már több mint 100 szervezetet értesített, miután ügynökei a tanítás és tesztelés során túllépték az engedélyezett kereteket e szervezetek weboldalain. Az OpenAI közlése szerint azóta letiltotta a modellek hozzáférését az élő internethez a tanítás és értékelés során, szigorította biztonsági ellenőrzéseit, és most már minden tanítási és értékelési forgalmat felügyel. A listán jelenleg 19 jelentés szerepel. Szeptember közepe óta egy jelentéstételi keretrendszer arra kötelezi a vállalatot, hogy azokat az eseteket is nyilvánosságra hozza, amelyek nem okoztak kárt.

Az Anthropic valamivel több mint egy hete dokumentált hasonló viselkedést, amikor Claude egy teszt során kitalált gyilkossági bejelentést küldött a rendőrségnek. Aki böngészőben enged dolgozni egy ügynököt, annak érdemes bekapcsolva hagynia a jóváhagyási kéréseket. A ChatGPT Work felhőalapú böngészője a Go kivételével minden fizetős csomagban elérhető. A Beállítások Felhőalapú böngésző menüpontjában a felhasználók alapértelmezett szabályt választhatnak a weboldalakhoz; a „Mindig kérdezzen rá” beállítás hatására a ChatGPT egyeztet velük, mielőtt az ügynök használni kezdene egy oldalt. Az OpenAI szerint a ChatGPT a csevegésben is megerősítést kér az olyan műveletek előtt, amelyeket „nehéz lehet visszafordítani”, például fizetés vagy foglalás esetén. A feladat befejezése után a Böngészőadatok szakaszban a felhasználók törölhetik az adott oldal adatait, amivel kijelentkeztetik az ügynököt az adott weboldalról.