GuppyLM: Bárki kiképezheti ezt az apró AI-t

Míg az AI modellek egyre nagyobbak, drágábbak és átláthatatlanabbak, a GuppyLM az ellenkező irányba megy - szándékosan. Ez a kis nyílt forráskódú projekt egy nyelvi modell, amely mindössze mintegy 8,7 millió paraméterrel rendelkezik, vagyis jóval kevesebbel, mint a modern zászlóshajó modellek, és egy Guppy nevű halként azonosítja magát. Guppy csak az akváriumi életet ismeri. A cél nem az, hogy versenyre keljen a ChatGPT-vel vagy más nagy modellekkel. Ehelyett a GuppyLM célja, hogy megmutassa, hogy egy LLM-nek nem kell titokzatosnak lennie - és hogy egy ilyen modell kiképzése nem feltétlenül igényel szakértői tudást.

A GuppyLM-et 60 000 szintetikus beszélgetésen képezték ki. A modell tartalmát tekintve erősen korlátozott, de éppen ez teszi figyelemre méltóan következetessé. A Guppy rövid, kisbetűs mondatokban beszél, és nem érti az olyan emberi absztrakciókat, mint a politika, a pénz vagy a telefon. Mivel ez a személyiség szilárdan be van építve a modellbe, Guppy mindig megmarad a halak perspektíváján belül. GitHub egy böngésződemót is kínál, amelyben a modell lokálisan fut a böngészőben. Alternatívaként az előzetesen betanított verzió a Colab oldalon keresztül is elindítható vagy helyben futtatható Python segítségével. Aki egy lépéssel tovább akar menni, akár közvetlenül is betaníthatja saját mini LLM-jét az előkészített Colab notebookkal - egy böngészőalapú programozási környezettel.

Maga a betanítási folyamat viszonylag egyszerű. A modellt nagyszámú, egy bemenetből és egy megfelelő válaszból álló példapárral tápláljuk. Az előzetesen betanított GuppyLM modellben ezek között üdvözlések, az élelemmel, a vízzel, a fénnyel, az alvással vagy az élet értelmével kapcsolatos kérdések szerepelnek - mindezek egy kis hal szemszögéből. Ezekből a példákból a modell megtanulja, hogy melyik token következzen. Egyszerűen fogalmazva, a tokenek olyan kis szövegegységek, amelyekre a szavakat lebontják. Minden egyes képzési lépés során a modell összehasonlítja előrejelzését a kívánt válasszal, és ennek megfelelően módosítja belső súlyait. Ily módon a GuppyLM fokozatosan megtanulja, hogyan kellene beszélnie egy halnak.