Egy millió token kevesebb szó, mint gondolná: megmértük

A kifogás rendszeresen felmerül, amint valaki megemlíti a „második agy” fogalmát. A jelenlegi nyelvi modellek egymillió token feldolgozására képesek, egyesek még ennél is többre. Akkor miért kell egyáltalán válogatni, címkézni és összekapcsolni a jegyzeteket, ha az egész halmot egyszerűen átadhatjuk a mesterséges intelligenciának?

A válasz egy olyan számban rejlik, amelyet szinte senki sem ellenőriz. A tokenek azok a darabok, amelyekre a modell felosztja a szöveget, és amelyek alapján számláz. Hogy egy millió token mennyi szöveget tartalmaz, az a nyelvtől és a felosztást végző módszertől, a tokenizátortól függ. Ezért inkább megmértük, ahelyett, hogy találgattunk volna.

Hogyan számoltunk?

Két azonos tartalmú szöveggel kezdtük: saját magazinunk egyik cikkének német és angol nyelvű változatával. A német változat 1 134 szót, az angol pedig 1 276 szót tartalmazott. Mindkét számlálás kizárólag a főszöveget és az alcímeket foglalja magában, a képaláírásokat és a forrásjegyzéket nem. Bármi, ami két szóköz között van, szónak számít. Mindkét változatot a js-tiktoken könyvtár 1.0.20-as verziójával dolgoztuk fel: egyszer az OpenAI jelenlegi modelljeihez használt o200k_base kódolással, egyszer pedig a GPT-4 és a GPT-3.5 által használt régebbi cl100k_base kódolással.

Az általánosan idézett tapasztalati szabály szerint egymillió token 750 000 szónak felel meg. Az angol nyelv esetében ez a becslés túl konzervatív, a német esetében viszont jelentősen túl nagyvonalú. A két kódolás összehasonlítása többet árul el. Ugyanaz a német szöveg az egyik kódolásnál 1 747 tokenre, a másiknál pedig 2 088-ra jön ki. Húsz százalékos eltérés, pusztán azért, mert a felosztást különböző módszer végzi. Az angol szöveg gyakorlatilag változatlan maradt: 1 200, illetve 1 202 token jut egy szóra. A tokenizálók terén elért fejlődés szinte kizárólag az angolon kívüli nyelveket érintette.

A Claude és a Gemini esetében ugyanaz a teszt nem végezhető el, mivel az Anthropic és a Google nem hozza nyilvánosságra a tokenizálóit. Az Anthropic azonban az árazási dokumentációjában megjegyzi, hogy a Claude 4.7 és az újabb modellek egy másik módszert alkalmaznak, amely ugyanazon szöveg esetében körülbelül 30 százalékkal több tokent generál, mint elődeik. Az alábbi számok ezért nagyságrendbeli becslések, nem pedig pontos értékek.

Mit jelent ez egy valós gyűjtemény esetében

Megmértünk egy olyan gyűjteményt, amely az évek során folyamatosan bővült: körülbelül 470 jegyzetet, ami 350 000–400 000 szóra becsülhető. Ez éppen hogy belefér egy kontextusablakba, és folyamatosan növekszik.

De a kontextusablakot minden egyes kérdésnél újra feltöltik és újra fizetnek érte. A modell nem emlékszik. Minden alkalommal az elejétől kezdi el olvasni. A GPT-5.6 Sol esetében egymillió bemeneti token öt amerikai dollárba kerül, és 272 000 token felett egy kérésben már tízbe. 400 000 német szó nagyjából 616 000 tokennek felel meg, ami a drága kategóriába sorolja őket, így 6,16 dollárba kerül. Kérdésenként. Tíz kérdés egy délután alatt körülbelül 60 dollárba kerül. A Notion Business, a rendszer-összehasonlításunkban a legdrágább előfizetés, felhasználónként havi 19,50 euróba kerül.

Két fontos megjegyzés van. Ez a számítás az API-ra vonatkozik, azaz arra a felületre, amelyet a fejlesztők használnak a modell közvetlen megkereséséhez, nem pedig a fogyasztói előfizetésekre. A ChatGPT Plus vagy a Claude Pro felhasználói nem tokenenként fizetnek, de végül elérik a használati korlátokat. És ott van még a gyorsítótár is. Cache-találat esetén az OpenAI és az Anthropic a bemeneti árnak csupán a tizedét számítja fel, ami a 6,16 dollárt 62 centre csökkenti. A beállítástól függően azonban a cache csak öt perctől egy óráig tart.

Miért éri még mindig meg a rendezés

A lényeg nem az, hogy egy jegyzetrendszer olcsóbb lenne, mint a mesterséges intelligencia. Hanem az, hogy így kisebb lesz az a halom, amit egyáltalán be kell vinni a kontextusba. Egy megfelelő teljes szövegű kereső, vagy egy szemantikai index, amely jelentés szerint keres, nem pedig kulcsszavak alapján, tíz releváns jegyzetet ad át a modellnek négyszáz helyett.

Így a 616 000 tokenből nagyjából 9 000 lesz, a 6,16 dollárból pedig öt cent. A tokenek esetében ez 67:1 arányt jelent, az ár esetében pedig 123:1-et, mivel a kis méretű lekérdezés a drága 272 000 tokenes küszöb alatt marad. Ehhez jön még egy olyan hatás, amelyet egyetlen árlista sem mutat. Az a modell, amely tíz releváns jegyzetet olvas el, pontosabb válaszokat ad, mint az, amely négyszázat dolgoz fel.

A valódi korlát ritkán a kontextusablak

Ha nem az API-n keresztül dolgozol, úgyis sokkal hamarabb egy másik korlátba ütközöl. A ChatGPT esetében a projektenkénti fájlok száma a csomagtól függ: öt a ingyenes csomagban, 25 a Go és a Plus csomagokban, valamint 40 a Pro, a Business és az oktatási csomagokban. A Gemini Notebook az ingyenes Standard csomagban notebookonként 50 forrást, a Plus csomagban 100-at, a Pro csomagban pedig 300-at engedélyez. Egyetlen forrás akár 500 000 szót is tartalmazhat.

Ami szembetűnik, az az, hogy ezek a számok mennyire következetlenek. Az OpenAI a projektekkel kapcsolatos súgójában 25 fájlt sorol fel a Plus csomaghoz, a fájlfeltöltéssel kapcsolatos súgóban viszont 20-at, pedig mindkét oldalt ugyanazon a héten frissítették utoljára. Ha erre szeretnél támaszkodni, inkább ellenőrizd a számot a saját fiókodban, ahelyett, hogy a dokumentációra hagyatkoznál.

Ezzel a kérdés más irányba fordul. Nem az egymillió token dönti el, hogy egy gyűjtemény lekérdezhető-e, hanem az, hogy az eszköz egyáltalán befogadja-e azt. És pontosan itt jön jól a saját jegyzetrendszered, mert az nem választja ki, mi kerül be, hanem csak azt, mi jön ki.

Mi szól az egész ötlet ellen

Egy „második agy” még mindig erőfeszítést igényel, és a programoknak vannak olyan sajátosságai, amelyeket érdemes ismerni, mielőtt belevágsz. Az Obsidian és a Joplin telefonokon is fut, de nem szinkronizálnak a háttérben. Az Obsidian a saját szinkronizálási GYIK-jében egy egyszerű „nem”-mel válaszol erre a kérdésre. A fájlok csak akkor szinkronizálódnak, ha a program fut. Számítógépen ezt alig veszed észre, mert az alkalmazás általában nyitva van. De ha útközben írsz egy jegyzetet, elcsúsztatod az alkalmazást, az addig nem jut el a számítógépedre, amíg újra meg nem nyitod az alkalmazást a telefonodon. Ez vonatkozik az Obsidian Sync-re is, a fizetős, saját fejlesztésű szolgáltatásra. Ha a mappát az iCloudban tárolod, vagy inkább a Syncthinggel szinkronizálod, akkor az a szolgáltatás elvégzi helyetted a munkát. A Notion az ingyenes csomagban 5 MB-ra korlátozza az egyes fájlok méretét. A Gemini Notebook esetében pedig a Google nem kínál visszautat: ha törölsz egy jegyzetfüzetet, a források is vele együtt tűnnek el. Csak a Gemini-beszélgetések kerülnek vissza a csevegési listába.

Tehát a legjobb tanács az, hogy gyűjtsd össze a jegyzeteket két hétig, majd dönts. Ha végül harminc jegyzeted lesz, akkor nem rendszerre van szükséged, hanem egy mappára. Ha pedig háromszáz lesz belőle, akkor magad is észreveszed majd, mi hiányzik, amikor keresni akarsz.