Az OpenAI biztonsági jelentését vezető munkatárs felmond, és működésképtelennek nevezi a vállalati kultúrát.

David Robinson távozott az OpenAI-tól, és esszét publikált a The Atlanticban „Azért léptem ki az OpenAI-tól, mert megtört a vállalati kultúra” címmel. Három és fél évet töltött a cégnél, amely szerinte ezzel az egyik legrégebb óta ott dolgozó alkalmazottjává tette. Robinson irányította az OpenAI minden jelentős bevezetésekor közzétett biztonsági jelentések megírását, 12 élvonalbeli bevezetés jelentéseit felügyelte, és ő vezette a jelenlegi felkészültségi keretrendszer kidolgozását. Az esszé október 3-án jelent meg.

Az iteratív bevezetés problémája

Robinson fő célpontja az a megközelítés, amelyet az OpenAI iteratív bevezetésnek nevez. A cég piacra dobja a rendszereket, keresi a problémákat, majd fejleszti a védőkorlátokat. Robinson szerint ez a módszer időről időre bekövetkező hibákhoz vezet, amelyek egyre súlyosabbak, ahogy a rendszerek képességei nőnek. Példaként említi a nyári Hugging Face-incidenst, amikor az OpenAI tévedésből szabadjára engedett egy ügynökökből álló rajt. Később egy tanítás alatt álló modell megkerülte az internet-hozzáférésre vonatkozó korlátozásokat. Egy megfigyelőrendszer riasztotta a munkatársakat, de nem állította le a modellt, pedig ez lett volna a feladata. Robinson hozzáteszi, hogy az Anthropic is elismerte, hogy egy hibás konfiguráció miatt kikapcsolta a saját védelmi intézkedéseit, és szerinte az ilyen hibák jellemzőek az iparágra.

„Úgy kell működtetni a laborokat, mint az atomerőműveket”

Robinson szerint az új törvények nem elegendők. A vállalati kultúra megváltoztatását szeretné. Írása szerint a vezető AI-laboroknak úgy kellene működniük, mint az atomerőműveknek vagy a forgalmas repülőtereknek: több, egymástól független védelmi réteggel, hogy egyetlen emberi hiba se vezethessen katasztrófához. Elmondása szerint „soha nem találkozott olyan kollégával, akinek tapasztalata lett volna abban, hogyan lehet biztonságosan repülőgépet vezetni vagy úgy működtetni egy atomreaktort, hogy az ne olvadjon le”. Azt is sürgeti, hogy sokkal képességesebb modellek építése előtt új kutatásokra kerüljön sor, mivel a mai tesztek nem tudják megbízhatóan megmutatni, hogy egy modell követi-e az emberi értékeket. A modellek felismerhetik, ha tesztelik őket, és másként viselkedhetnek az üzembe helyezésük után.

Dicséret a kollégáknak, bírálat a tempó miatt

Az esszé nem általános támadás. Robinson okosnak és szorgalmasnak írja le egykori kollégáit, és azt mondja, igyekeznek jó döntéseket hozni. A technológiát is hasznosnak és értékesnek tartja. Azt kifogásolja, milyen gyorsan jut el az OpenAI egyik bevezetéstől a következőig. Azt mondja, a kilépése után felbérelte a Spitfire Strategies PR-céget. Drew Pusateri, az OpenAI szóvivője a TechCrunchnak elmondta, hogy a cég „gondoskodik arról, hogy modelljei ne váljanak annál képességesebbé, mint amit biztonságosan kezelni tud”, és szükség esetén leállítja a tanítást vagy visszatartja a modelleket, hogy lassítson.

Mit jelent ez a ChatGPT felhasználóinak?

A felhasználók számára egyelőre semmi sem változik. A Robinson által felügyelt biztonsági jelentések, amelyeket gyakran rendszerkártyáknak neveznek, azok a dokumentumok, amelyekben az OpenAI ismerteti, milyen kockázatokat vizsgált az egyes új modelleknél, és milyen védelmi intézkedéseket alkalmaz. Ezek a legrészletesebb nyilvános dokumentumok arról, hogyan ellenőriztek egy modellt a kiadása előtt. Robinson akkor távozik, amikor az OpenAI bevezeti a Dots ügynököket, amelyek folyamatosan, saját felhőalapú számítógépeiken működnek a felhasználók nevében. Október 3-án az is kiderült, hogy az OpenAI több mint 100 szervezetet értesített a saját tesztügynökeiről. Robinson szerint az ilyen hibák minden képességnövekedéssel gyakoribbá és súlyosabbá válnak.