A saját ChatGPT-d, offline módban: felhő nélküli mesterséges intelligencia a laptopodon

Valahányszor kérdést teszel fel a ChatGPT-nek vagy egy másik felhőalapú szolgáltatásnak, a bevitt adat elhagyja a számítógépedet. A szolgáltató szervereire kerül, ahol feldolgozzák, és – a szolgáltatástól és a beállításaidtól függően – előfordulhat, hogy tárolják vagy gépi tanuláshoz használják fel. A legtöbb kérdés esetében ez nem jelent problémát. De ha érzékeny információkról, belső dokumentumokról van szó, vagy egyszerűen csak elvi okokból, akkor lehet, hogy nem szeretnéd ezt. A jó hír: a csevegő AI-t teljesen offline módon is futtathatod a saját laptopodon. Nincs fiók, nincs előfizetés, nincs felhő. 2026-ra pedig ehhez még nagy teljesítményű számítógépre sem lesz szükséged.

Miért érdemes egyáltalán helyben futtatni?

A legfőbb ok a adatvédelem, és ez kézzelfoghatóbb, mint bármely felhőszolgáltatás esetében. Amikor a modell a saját eszközödön fut, nincs szerveres lehallgatás, nincsenek holnapra megváltozható felhasználási feltételek, és nincs olyan szolgáltatói adatbiztonsági incidens, amely téged is érintene. A bevitt adataid magánjellegűek maradnak, mert technikailag nem hagyhatják el az eszközödet. Ráadásul: csak áramba kerül, internetkapcsolat nélkül is működik, és a válasz gyakran gyorsabban érkezik, mivel nem kell a felhőn keresztülmennie. Ugyanakkor őszintének kell lenned a korlátaival kapcsolatban. A helyi modell nem olyan intelligens, mint az OpenAI vagy a Google felhőalapú csúcsmodelljei, és nagyon hosszú dokumentumok feldolgozásakor hamarabb eléri a határait. De a szövegekkel, összefoglalásokkal, fordításokkal és kóddal kapcsolatos mindennapi feladatoknál meglepően jól teljesít.

Mire van szüksége ehhez a laptopodnak?

A legfontosabb tényező nem a processzor, hanem a RAM, és ha van, a grafikus memória. És éppen ebben a tekintetben sok tapasztalati szabály félrevezető: egy 8 milliárd paraméteres modell egyszerűen nem fog futni 8 GB RAM-on. Grafikus kártya nélkül a modell megosztja a RAM-ot a Windows-szal és a futó programokkal, és ebből 4–6 GB gyorsan elfogy, még mielőtt a modell betöltődne. A valóságban egy ilyen modellnek ezért inkább 16 GB RAM-ra van szüksége. Grafikus kártyával ez nem jelent olyan nagy problémát, mert a modell ekkor a grafikus kártya memóriájában helyezkedik el, így a rendszer RAM-ja szabad marad. Röviden: a 8 GB csak a legkisebb modellekhez elegendő; 16 GB-tól kezdve válik igazán használhatóvá, és egy grafikus kártya vagy egy modern NPU-chip észrevehető teljesítménynövekedést biztosít. Az Apple-chipes Mac-ek különleges esetet jelentenek. Ezeken a rendszereken a processzor és a grafikus kártya ugyanazt a memóriát osztja meg, ezt egységes memóriának nevezik. Ez azt jelenti, hogy a RAM szinte teljes mennyisége grafikus memóriaként szolgálhat a modell számára. A gyakorlatban a programok alapértelmezés szerint ennek körülbelül 70 százalékát foglalják le, így egy 32 GB-os Mac-en nagyjából 24 GB áll rendelkezésre a modell számára. Éppen ezért a Mac-ek gyakran jelentik az egyszerűbb választást a készüléken futó mesterséges intelligencia esetében: egy 64 GB-os Mac olyan modelleket is képes kezelni, amelyekhez egy Windows-alapú PC-n két drága grafikus kártyára lenne szükség. Egyszerűen csak elegendő RAM-ot kell vásárolni, ahelyett, hogy külön grafikus kártyával kellene foglalkozni.

A táblázat bemutatja, mely modellek futnak mely eszközökön.

A programok: hol kezdjük?

Két dologra van szükséged: egy programra és egy modellre. Minden program ingyenes, és Windows, Mac és Linux rendszereken is fut. A legtöbb ember számára az LM Studio a legjobb kiindulási pont, mivel grafikus felülettel rendelkezik, így nincs szükség terminálra; csak válassz egy modellt a listából, és kezdj el csevegni. Olyan érzés, mintha a ChatGPT helyi verzióját használnád. A Jan hasonló megközelítést alkalmaz, és nyílt forráskódú. A GPT4All még ennél is egy kicsit egyszerűbb a gyors teszteléshez. Az Ollama a haladó felhasználók számára ideális választás; parancssorból fut, és beépíthető a saját programjaidba is, bár ez a kezdéshez nem feltétlenül szükséges. A háttérben többnyire ugyanazt a technológiát használják, így ritkán vannak jelentős sebességbeli különbségek. A választásod főként a felhasználói felületen múlik.

A modellek: melyik a legmegfelelőbb az Ön számára?

A modell lényegében a rendszer agya. Német nyelvű és szokásos irodai feladatokhoz a Qwen3 8B vagy 14B változata nagyon jó választás; érthető német nyelven beszél, és közepes teljesítményű hardveren is fut. A Google Gemma 3 12B-es verziója 16 GB RAM-mal vagy annál többel jól teljesít, míg a Llama 4 Scout egy megbízható, sokoldalú modell. Ha a laptopod nem túl erős, válassz egy kisebb modellt, például a 3,8 milliárd paraméterrel rendelkező Phi-4-mini-t, amely akár dedikált grafikus kártya nélkül is fut. A név utáni szám a modell méretét jelzi. Nagyjából becsülve: a standard Q4 beállításnál milliárd paraméterenként fél gigabájt memóriára lesz szükséged. Egy 8B-es modell például körülbelül 5 GB-ot igényel, plusz némi puffert a kontextushoz és a rendszer általános terheléséhez. Éppen ezért a nagyobb modellek is futnak szabványos hardveren, de nem olyan rendszereken, amelyek RAM-ja a feltétlen minimumot éri el.

Ha a modell nem fér el teljesen a grafikus kártyán

Mi van, ha a kívánt modell kissé nagyobb, mint a grafikus memória? Nem kell feladnod. A programok fel tudják osztani a modellt úgy, hogy egy része a grafikus kártyán, a többi pedig a hagyományos RAM-ban fut. Ezt offloadingnak vagy GPU-offloadingnak nevezik. Az LM Studio-ban ehhez egyszerűen csak egy csúszkát kell beállítanod; az Ollama-ban ez egy beállítás. Így akár olyan modell is futtatható, amely önmagában nem férne el a grafikus memóriában. A bökkenő: az átterhelt rész a CPU-n fut, és lassabb, ezt a válaszidőn fogod észrevenni. Még így is gyorsabb, mintha egyáltalán nem lenne grafikus kártya, de nem teljes sebességgel működik. Még két dolog: továbbra is elegendő RAM-ra van szükség a teljes modellhez, az offloading csak áthelyezi a terhelést; nem varázsol elő több memóriát. És bár a merevlemezre való átterhelés elvileg lehetséges, olyan lassú, hogy nem éri meg.

Beállítás hat lépésben

Az LM Studio példáján bemutatva: a folyamat a többi program esetében is szinte pontosan ugyanúgy működik. Először töltsd le és telepítsd az LM Studiót a hivatalos weboldalról. Másodszor, nyisd meg a modellkeresőt a programban, és válassz ki egy ajánlott modellt, például a Qwen3 8B-t. Harmadszor, töltsd le a modellt; ez a méretétől függően néhány percet vesz igénybe. Negyedszer, töltsd be a modellt, és tedd fel az első kérdésedet a csevegőablakban. Ötödször, ha szeretné, csatlakoztassa a saját fájljait, hogy az AI a jegyzeteivel is dolgozhasson. Hatodszor, gondoskodjon a biztonságáról, azaz csak megbízható modelleket töltsön be, és tartsa naprakészen a programot. Ennyi az egész. Tíz perc alatt lesz egy saját, internetkapcsolat nélkül is működő AI-je.

Mikor érdemes még a felhőt használni?

A helyi megoldás kiváló az adatvédelem, a mindennapi használat és az offline hozzáférés szempontjából. De ha a legerősebb modellt szeretnéd, hatalmas dokumentumokat dolgozol fel, vagy kép- és videogenerálásra van szükséged, akkor a felhőszolgáltatások mellett nem lehet elmenni. Részletesen bemutattuk, mennyibe kerülnek, és melyik előfizetés kinek a legalkalmasabb: https://www.notebookcheck.com/index.php?id=1334996. Sokan kettős megközelítést alkalmaznak: az érzékeny adatokat helyben tartják, a többit pedig a felhőben tárolják.

Kinek előnyös a helyi megközelítés?

Ha fontos számodra az adatvédelem, gyakran dolgozol internetkapcsolat nélkül, vagy nem akarsz folyamatos előfizetési költségeket fizetni, akkor a helyi AI ideális megoldás. A kezdéshez használd az LM Studio-t és a Qwen3 8B-t; ezek a legtöbb, ésszerűen naprakész laptopon futnak, és a mindennapi használathoz bőven elegendőek. A kipróbálásuk nem kerül semmibe, csupán egy kis tárhelyre van szükség.

Egyébként nem csak a csevegő AI futhat helyileg. A képek generálása és a beszéd szöveggé alakítása is teljesen offline módon elvégezhető a saját számítógépeden. Erről hamarosan bővebben is beszámolunk.