Kína bemutatja a SpikingBrain 1.0-t, a hazai MetaX chipeken futó, agyi ihletésű LLM-et

A Kínai Tudományos Akadémia pekingi Automatizálási Intézete a közelmúltban mutatta be https://www.scmp.com/news/china/science/article/3324851/brain-ai-said-run-100-times-faster-ultra-long-tasks-using-chinese-chips legújabb, SpikingBrain 1.0 nagyméretű nyelvi modelljét. Ez az LLM állítólag a világ első "agyszerű" LLM-je, amelyet úgy terveztek, hogy lényegesen kevesebb energiát használjon, mint a hagyományos AI-rendszerek, például a ChatGPT. Ahelyett, hogy az Nvidia hardverére támaszkodna, teljes egészében kínai gyártmányú MetaX chipeken működik, ami jelentős előrelépést jelent a neuromorfikus számítástechnikában.

A rendszer a "spiking computation" technológiát használja, amely az emberi agy neuronok tüzelési mintáit utánozza. Ez a technológia csak a szükséges neuronok aktiválódását teszi lehetővé, nem pedig a teljes hálózatét, mint a hagyományos modellekben. Ez az eseményvezérelt megközelítés a rendszer energiahatékonyságát is megőrzi, csökkentve az energiafogyasztást. A rendszer a hagyományos rendszerekhez képest a szükséges képzési adatok mínusz két százalékából is képes tanulni. Két változatot fejlesztettek ki: az egyik 7 milliárd, a másik 76 milliárd paramétert tartalmaz.

A kutatók beszámolói szerint bizonyos feladatokban akár 100-szor gyorsabb teljesítményt nyújtanak a hagyományos modellekhez képest, a kisebb modell egy 4 millió jelet tartalmazó kérésre legalább 100-szor gyorsabban reagál, mint a hagyományos rendszerek. Emellett 26,5-szeres sebességnövekedés tapasztalható a hagyományos Transformer-architektúrákhoz képest az első tokengenerálásnál. Az új modellt körülbelül 150 milliárd tokenen képezték ki, ami csak töredéke a hagyományos rendszerek tipikus követelményeinek. A csökkentett képzési adatok ellenére a rendszer még mindig összehasonlíthatóan jól teljesít más népszerű nyílt forráskódú alternatívákhoz képest.

Az új rendszer stratégiai jelentőséggel bír Kína számára, mivel az LLM teljes egészében Kína saját fejlesztésű mesterséges intelligencia-ökoszisztémájában működik, a MetaX chipplatformot használva. Ez különösen fontos, mivel az Egyesült Államok szigorítja a fejlett mesterséges intelligencia chipek exportjának ellenőrzését. A kutatás azt is bizonyítja, hogy nem Nvidia platformokon is lehet hatékony nagy modellt betanítani. Li Guoqi vezető kutató a kínai chiparchitektúrára vonatkozó optimalizálást is kiemeli. Az ilyen rendszerek potenciális alkalmazási területei közé tartoznak a jogi dokumentumok, az orvosi feljegyzések, sőt a tudományos szimulációk is.

A csapat a modell kisebbik változatát nyílt forráskóddal bocsátotta a nyilvánosság rendelkezésére, a nagyobbik változat csak online érhető el nyilvános tesztelésre egy demooldalon keresztül. A kutatást nem lektorált tanulmányként is közzétették az arXiv adattárban, így ezeket az állításokat érdemes fenntartásokkal kezelni. Mindazonáltal ez az áttörés kikövezheti az utat az energiatakarékosabb mesterséges intelligencia rendszerek előtt, és előremozdíthatja az agy által inspirált számítástechnikai megközelítéseket.