A SEAL megmutatja, hogyan képes a mesterséges intelligencia gondolkodni és folyamatosan fejlődni

A mesterséges intelligencia egyre sokoldalúbbá válik - képeket generál, verseket ír és alkalmazásokat épít. Egy fő korlát azonban továbbra is fennáll: a mai rendszerek nehezen tudnak igazán továbbfejlődni a kezdeti programozáson túl. A Massachusetts Institute of Technology (MIT) új koncepciója pontosan itt lép a képbe. A SEAL, azaz Self-Adapting Language Models (önalkalmazkodó nyelvi modellek) nevű keretrendszer lehetővé teszi, hogy a nagy nyelvi modellek inkább tanulni képes lényekként viselkedjenek. A SEAL lehetővé teszi számukra, hogy új információkat dolgozzanak fel, saját meglátásaikat generálják, és valós időben frissítsék tudásukat - anélkül, hogy külső adathalmazokra vagy a fejlesztők széles körű beavatkozására támaszkodnának. A kutatási tanulmány június 12-én jelent meg a arXiv oldalon.

Folyamatos tanulás fejlesztői beavatkozás nélkül

"Főleg a vállalatoknál nem elég egyszerűen lekérdezni az adatokat - a rendszereknek képesnek kell lenniük a folyamatos alkalmazkodásra" - mondja Jyothish Pari, az MIT PhD-hallgatója. A SEAL-t pontosan erre tervezték, egy folyamatos, kétlépcsős folyamat segítségével. Először a mesterséges intelligencia összefoglalja az új információkat, releváns példákat generál, és módosítja a belső beállításait. Ezeket a változtatásokat "önszerkesztésnek" nevezik

A rendszer ezután azonnal próbára teszi az önmódosításait: az új beállításokkal rövid átképzésen megy keresztül, és kiértékelik, hogy a válaszai valóban javulnak-e. A SEAL csak akkor tartja meg a módosításokat, ha az eredmények egyértelmű teljesítménynövekedést mutatnak. Az összehasonlító tesztek megerősítik a módszer hatékonyságát: egy támogató szöveg nélküli kérdés-felelet kvízben a Qwen 2.5-7B modell pontossága 33,5%-ról 47%-ra emelkedik. A nagyobb kihívást jelentő ARC-rejtvényekben - logikai alapú feladatok az Abstraction & Reasoning Corpusból - a teljesítmény még 72,5%-ra is emelkedik, ami több mint háromszorosa a modell eredeti eredményének.

Ennek a ciklusnak köszönhetően a SEAL szinte úgy viselkedik, mint egy gondolkodó entitás: amikor új tények vagy kérdések merülnek fel, a modell "elgondolkodik" azon, hogy mi a fontos, saját példákat generál, és módosítja a beállításait, hogy jobban alkalmazza a tanultakat. Mivel ez a folyamat folyamatosan zajlik, a mesterséges intelligencia folyamatosan tanul. Többé nem támaszkodik külön fejlesztői finomhangolásra, hanem a beérkező szövegeket használja tananyagként - menet közben generálja saját adatait.

A SEAL egyszerre több lehetőséget nyit meg. A jövőben a chatbotok természetesen alkalmazkodhatnak a felhasználók személyes preferenciáihoz anélkül, hogy érzékeny adatokat kellene küldeniük külső szerverekre. A fejlesztési és kutatási eszközök is önállóbban fejlődhetnének - alkalmazkodva a változó projektkövetelményekhez anélkül, hogy minden alkalommal újra kellene képezni őket. És még akkor is, ha a nyilvánosan elérhető szöveges adatok szűkössé válnak, a SEAL képes saját maga által létrehozott példákon keresztül saját képzési anyagot generálni, ami okos módot kínál a lehetséges adathiányok megkerülésére.

Nagy lehetőségek, de nem akadályok nélkül

Bár a SEAL jelentős ígéreteket hordoz a mesterséges intelligencia fejlesztésének előmozdítására, a kutatók három fő kihívásra hívják fel a figyelmet:

• Először is, ott van a katasztrofális felejtés problémája: ahogy a modell folyamatosan integrálja az új önszerkesztéseket, a korábbi feladatok elvégzésének képessége fokozatosan csökken. A tanulmány már ennek a hatásnak a korai jeleit mutatja.
• Másodszor, a számítási költségek jelentősek, mivel minden egyes önszerkesztés egy rövid finomhangolási lépést igényel. A tanulmány szerint egy teljes ciklus 30-45 másodpercet vesz igénybe, ami jelentősen megnöveli a nagy modellek futtatásának működési költségét.
• Harmadszor, az önszerkesztés pontosságának ellenőrzése továbbra is kihívást jelent. A teljesítménytesztek elsősorban azt értékelik, hogy egy válasz mennyire hangzik meggyőzően, nem pedig azt, hogy valóban helyes-e. Felhasználók a Reddit-en már felvetették, hogy a rendszer esetleg elfogadja a hihetőnek tűnő, de hibás önszerkesztéseket javításként - és aztán ezeket a hibákat véglegesen beépíti a rendszerbe.