Az AI helyi futtatása: Stabil diffúzióval, ChatGPT-vel, Gemma3-mal és másokkal tesztelt Acer Swift Go 16 AI
Az Acer Swift Go 16 AI, 16 GB RAM-mal és AMD Ryzen 7 350 processzorral, nemrég esett át tesztünkön. A nevében szereplő "AI" kiegészítés arra utal, hogy ez a laptop készen áll az AI alkalmazásokhoz. Értékelésünkazonban azt sugallja, hogy a memória meglehetősen alulméretezett lehet ehhez a felhasználáshoz. Mindazonáltal a nyelvi modellek, a képgenerátorok és a videós eszközök egyre nagyobb teljesítményűek, és még mindig kevesebb RAM-ot igényelnek. Papíron néhány érdekes AI-modell futhatna a laptop memóriáján. Teszteltük őket.
A Windows 11 legújabb verziója már számos AI-eszközt tartalmaz, amelyek egy része lokálisan, másik része pedig a Microsoft szerverein fut. Sajnos nem mindig egyértelmű, hogy a Copilot és társai honnan nyerik számítási teljesítményüket. A Copilot alkalmazás következetesen aktív internetkapcsolatot igényel. A Fotók alkalmazás bizonyos funkciói helyileg, internetkapcsolat nélkül működnek, míg másokhoz Microsoft-fiókra van szükség, és nem működnek offline. A webkamera-felvételek kép- és hangminőségének javítása helyben, az NPU (Neural Processing Unit) segítségével történik. Újra bevezetésre került a Microsoft Recall funkciója is, ami némi vitát váltott ki. Alapértelmezés szerint azonban továbbra is letiltva marad, és csak akkor használható, ha az eszköz titkosítása és jelszavas védelme engedélyezve van. A Windows számos más mesterséges intelligencia funkciója nem különösebben észrevehető, vagy csak a Microsoft Office-szal működik.
Az alternatív nyelvi modellek és a képgeneráló eszközök helyi használatához speciális szoftverre van szükség. Ezeknek a programoknak az otthoni számítógépen való futtatása azonban már közel sem olyan nehézkes, mint egy évvel ezelőtt. Ma már mindkettőhöz egyszerű szoftverek állnak rendelkezésre, amelyek gyorsan telepíthetők, és számos lehetőséget nyitnak meg a felhasználó előtt. Az Amuse AI képgeneráláshoz és -szerkesztéshez kínál szoftvert, amelyet kifejezetten az Acer Swift Go 16 AI-ban található AMD hardverhez szabtak. Az LM Studio kényelmes módot biztosít az SLM-ek (kis nyelvi modellek) - lényegében a szöveggeneráláshoz használt mesterséges intelligenciák - használatához. A FastFlowLM nem egészen ilyen kényelmes használatú, de energiatakarékosabban fut az NPU-n. Mindhárom programot telepítettük tesztkészülékünkre. Az általunk használt Acer Swift Go 16 AI azonban sajnos nem optimálisan van felszerelve a mindössze 16 GB memóriával. A Windows és az előre telepített Acer programok gyorsan elfogyasztanak hat-kilenc gigabájtot a korlátozott memóriából. Így körülbelül 10 GB memória marad a mesterséges intelligencia számára. Az Amuse úgy állapítja meg, hogy körülbelül 8 GB memória használható. Az LM Studio 15 GB-ot becsül, de összeomlik, valahányszor megpróbálunk betölteni egy elég nagy nyelvi modellt.
AMUSE - AI képszerkesztés és generálás
A Amuse-t futtattuk a tesztelés idején a legújabb verzióját (3.1) használtuk. A szoftver ingyenes és kényelmesen telepíthető. Az AMD processzor NPU-ja itt is támogatott, ami dedikált GPU nélkül is érezhetően felgyorsíthatja a mesterséges intelligenciával való munkát. A szövegből képbe generálás mellett képből videóba és képből képbe funkciókat is kínál.
A tényleges képgeneráláshoz először telepíteni kell az Amuse-t, majd be kell tölteni a megfelelő modelleket. Ez a program segítségével történik, ami viszonylag egyszerű, de időigényes, mivel minden modell több gigabájtnyi adatot tartalmaz. Az Amuse által a kezdő üzemmódban kínált három előbeállítás közül a "Balanced" opció nem működik számunkra. a "Gyors" és a "Minőség" módok viszont működnek, bár csak a gyors mód működik igazán problémamentesen. A "Fast"-mód a kis Dreamshaper LCM Turbóra támaszkodik. Ez jól elfér a laptop korlátozott memóriáján, és nagyon gyorsan működik. A képek másodpercek alatt generálódnak. A szakértői módban a StableDiffusion XL Turbo és a StableDiffusion 3 is fut. Ez utóbbi akár az NPU-ra is áthelyezhető. De mindkét modell teljes mértékben kihasználja a laptop memóriáját, és nem igazán fut gyorsan. A memória kihasználása különösen akkor problémás, ha az Amuse fut, semmi más nem fut zökkenőmentesen a laptopon. Súlyos esetben az Amuse még össze is omlik, ha egy háttérben futó böngészőablak túl sok memóriát igényel. Csak a kis Dreamshaper LCM használata élvezetes. Mégis viszonylag jó eredményeket produkál. A gyökerei azonban jól láthatóan a Stable Diffusion 1.5-ben gyökereznek. Ha nem figyelünk oda a felszólításokra, akkor sok homályos éllel és furcsa arányokkal találkozhatunk. A Dreamshaper LCM azonban hihetetlenül gyors is. Ez a modell egy szempillantás alatt képes képeket létrehozni. Itt a mennyiséget helyezik előtérbe a minőséggel szemben. Ha egy kép már elfogadhatóan elfogadható. A minőséget aztán az Amuse-ban tovább lehet javítani képről képre szerkesztéssel.
LM Studio - Chatbotok, érvelési modellek és még sok más
LM Studio egy nyelvi modellkezelő és -végrehajtó rendszer. A laptopon a ChatGPT származékok, a Llama, a Qwen3 és mások helyben futtathatók. Az Amuse-hoz hasonlóan az Acer Swift Go 16 AI esetében is úgy tűnik, hogy a korlátozó tényező a szűkös memória, nem pedig a feldolgozási teljesítmény. Az OpenAI új gpt-oss 20B betöltésekor az elégtelen memória miatt összeomlik. Tapasztalataink alapján megerősíthetjük, hogy a modell hibátlanul fut AMD Ryzen 9 370-es AMD Ryzen 9 370-es és 32 GB memóriával rendelkező laptopokon.
A Qwen3 Vi 8B, a Qwen3 4B Thinking és az IBM Granite 4 H Tiny (Q4_K_M és Q8_0) meglepően jól futott az Acer laptopon. Az IBM legkisebb nyelvi modellje figyelemre méltóan gyors, és elegendő válaszokkal csillogtatja meg tudását. A Qwen3 Vi 8B nagyon természetes beszédhangzással nyűgöz le, és különleges képességeket mutat a képfeldolgozásban. A gyengén látó emberek számára egy ilyen mesterséges intelligencia nagy segítséget nyújthat egy laptopon. A Qwen3 4B Thinking érvelő modell a tesztjeinkben a leglassabb, amikor tisztán szöveges válaszokkal foglalkozik. De elsősorban a válaszok lenyűgözik. A kérdés összetettségétől függően akár öt percig is eltarthat, amíg a Qwen3-tól választ kapunk. Természetesen a gondolkodási folyamat közben is figyelhet, és azonnal beavatkozhat, ha a válasz teljesen rossz irányba megy.
Sok más kisebb nyelvi modellnek is jól kell futnia tesztkészülékünkön. Azonban minden nyelvi modell jelentős helyet is foglal az SSD-lemezen. Nyelvi modellenként 3 és 7 GB közötti tárhellyel kell számolnunk. A kis SLM-ek (Small Language Models) meglepően sokoldalúnak bizonyulnak.
AI on the Go - FastFlowLM teljes AMD-NPU támogatással
Azoknak, akik az LM Studio-t utazáshoz használják, sajnos fel kell készülniük a gyorsan lemerülő akkumulátorra. Az LM Studio minden számításhoz a CPU-t és a GPU-t is igénybe veszi. A Ryzen 7 350-ben lévő energiatakarékos NPU sajnos érintetlen maradt. FastFlowLM segítségével kihasználhatja az AMD chip NPU teljesítményét. Ez lényegesen alacsonyabb energiafogyasztással jár, annak ellenére, hogy az LLM-ek nem futnak érezhetően lassabban az NPU-n. A kimenetek minősége változatlan maradt. A FastFlowLM-et azonban valamivel nehezebb használni, mint az LM Studio-t, mivel nem rendelkezik saját grafikus felhasználói felülettel. A FastFlowLM grafikus felhasználói felülete a Open WebUI címen érhető el. Egyébként a Windows PowerShell segítségével használható. Bár ez egyedülálló élmény lehet.
Összehasonlításképpen megmértük a laptop energiafogyasztását, amikor a Gemma3:4b-t LM Studio és FastFlowLM használatával használtuk. A FastFlowLM segítségével a laptop maximális energiafelvétele körülbelül 25 watt volt. Jelentősen magasabb volt az energiafogyasztás, amikor ugyanazt a modellt az LM Studio segítségével használtuk. Körülbelül 65 wattos fogyasztást mértünk. Mindkét esetben a kimeneti sebesség (másodpercenkénti tokenekben kifejezve) még mindig jelentősen 10 token/másodperc felett volt. Attól függően, hogy hogyan számoljuk ki, a Gemma3:4b 10 tok/s mellett körülbelül 250-600 szót ér el percenként. Ökölszabályként 1,8 token felel meg egy német szónak, 1,3 token egy angol szónak. A Gemma által létrehozott német szövegeket elemeztük, és körülbelül 450 szó/perc értékre jutottunk. Ami sokkal gyorsabb, mint a tipikus olvasó.
Következtetés - A helyi mesterséges intelligencia lehetséges, de nem mindig használható
A Windows AI funkciók hibátlanul működnek az Acer Swift Go 16 AI-n. Meglepő módon az olyan SLM-ek, mint a Gemma3, Qwen3 és Granite 4 válaszai gyorsan, de modelltől és feladattól függően változó minőségben jelennek meg a képernyőn. Aki mindenképpen használni szeretné a Text2Image modelleket és az Amuse egyéb funkcióit, annak valószínűleg egy nagyobb memóriával rendelkező laptopot kellene választania. A Acer Swift Go 16 AI 32 GB RAM-mal is elérhető.
Végső soron az AI még gyerekcipőben jár. Egyszerűen használható és az AMD NPU képességeit kihasználó szoftver még nem létezik. Ez sajnálatos, mert a teljesítmény, amit némi barkácsolással el tudtunk érni, különösen lenyűgöző volt. Még az Amuse is ígéretes potenciált mutat a laptopon, de a mi ízlésünknek túl sok hibaüzenetet generál és néha elég lassú.
Tesztjeink elsősorban azt mutatják: Ha hatékonyan akarjuk használni az AI funkciókat, akkor sok és gyors RAM-ra van szükségünk. A legjobb AI semmit sem ér, ha az összes többi program, például a Word és a böngésző lefagy az AI funkciók használata közben.
Quelle(n)
