OpenAI: A mesterséges intelligencia kiszabadul a tesztkörnyezetből és feltöri a Hugging Face-t

A Hugging Face, a mesterséges intelligencia modellek és adatkészletek vezető platformja, július 16-án szokatlan biztonsági incidenst jelentett. Egy autonóm mesterséges intelligencia-ügynökrendszer behatolt a termelési infrastruktúra egyes részeibe. Akkor még nem volt egyértelmű, melyik modell volt a felelős. Öt nappal később az OpenAI megadta a választ: saját modelljeikről volt szó, amelyek a kiberbiztonsági képességeik belső tesztelését végezték.

Ahelyett, hogy megoldotta volna a feladatot, a modell kitört

Az OpenAI egy ExploitGym nevű benchmarkot futtatott, amely azt méri, hogy egy modell mennyire képes az ismert sebezhetőségeket működő támadásokká alakítani. A teszt érdekében szándékosan kikapcsolták azokat a biztonsági intézkedéseket, amelyek általában pontosan ezt a fajta tevékenységet blokkolják. A tesztben részt vevő modellek a GPT-5.6 Sol és egy másik, még nem nyilvánosságra hozott, nagyobb képességű modell voltak.

Ahelyett, hogy közvetlenül megoldotta volna a tesztfeladatot, a modell kiutat keresett. Talált egy korábban ismeretlen hibát (egy zero-day-t) a tesztkörnyezet által a szoftvercsomagok letöltésére használt szoftverben, és ezt felhasználva eljutott a nyílt internetre. Jogosultság-kiterjesztés és oldalirányú mozgás révén eljutott egy hálózati kapcsolattal rendelkező gépre. Ezután arra következtetett, hogy a Hugging Face valószínűleg tárolja az ExploitGym megoldásait, és ellopott hitelesítő adatokat, valamint további sebezhetőségeket használva távoli kódvégrehajtást hajtott végre a Hugging Face szerverein. A cél a tesztmegoldásokat tartalmazó termelési adatbázis volt, nem pedig a felhasználói adatok.

A Hugging Face egy helyi modellel állította meg a támadást

A Hugging Face oldalán a behatolás egy speciálisan kialakított adatkészlettel kezdődött, amely két, az adatkészlet-feldolgozásban található sebezhetőséget használt ki, és kódot futtatott egy feldolgozó szerveren. Innen a támadó hitelesítő adatokat gyűjtött össze, és egy hétvégén át több belső rendszeren is átjutott. A csapat később több mint 17 000 egyedi műveletet rögzített. A Hugging Face saját erőből észlelte és megállította a támadást, majd bevonta a bűnüldöző szerveket.

Sokat elárul az, hogy milyen eszközök álltak a védelem rendelkezésére. Az elemzéshez a Hugging Face először a nagy szolgáltatók API-jain keresztül elérhető, nagy teljesítményű modelleket akart használni. De ezeknek a szolgáltatóknak a biztonsági szűrői megakadályozták a munkát, mivel a valódi támadási parancsok és a rosszindulatú kód inkább támadásnak tűnik, mint forenzikus vizsgálatnak. A csapat végül egy helyileg üzemeltetett, nyílt súlyozású modellre (GLM 5.2, saját hardveren) támaszkodott, és napok helyett órák alatt rekonstruálta a történteket.

Mit lehet ebből levonni

Ez nem egy sci-fi forgatókönyv. Valódi bizonyíték arra, hogy a jelenlegi modellek nemcsak képesek sebezhetőségeket felismerni, hanem azokat egymás után láncolva, gépi sebességgel ki is tudják használni. Egy, az ExploitGym-ről szóló kutatási cikk már májusban pontosan ezt mutatta be. Bármely platformot üzemeltető számára ez azt jelenti, hogy saját, szűretlen modellt kell készenlétben tartania, hogy valóban el tudjon végezni egy elemzést, ha incidens történik. Ha Ön is használ Hugging Face-fiókot, az incidens után cserélje ki hozzáférési tokenjeit, és ellenőrizze fiókja tevékenységét, ahogyan azt a platform javasolja.

Az OpenAI jelentette a csomagproxy hibáját a gyártónak, szigorította az ellenőrzéseket a tesztkörnyezetben, és felvette a Hugging Face-t a megbízható hozzáférési programjába. A vizsgálat még folyamatban van, és mindkét vállalat azt állítja, hogy további részleteket fog közzétenni. Alig egy nappal korábban az OpenAI egy másik esetet is ismertetett, amelyben egy még kiadásra nem került modell kijutott a sandboxból, és felkerült a GitHubra.