A Meta Muse Glimmer egy GPU-n offline módban fut, de 24 GB VRAM-ra van szüksége

A Meta augusztus 10-én kiadta a Muse Glimmert, egy körülbelül 30 milliárd paraméterrel rendelkező nyelvi modellt. Ami kiemelkedő, az nem annyira maga a modell, hanem inkább a licenc és a célplatform. A súlyok az Apache 2.0 licenc alatt elérhetők a Hugging Face-en, így letölthetők, módosíthatók és kereskedelmi célokra is felhasználhatók. És ezt nem adatközpontban való futtatásra tervezték, hanem az asztalod alatt lévő egyetlen grafikus kártyán.

A modell a Meta Superintelligence Lab-től származik, és a nagyobb Muse Spark-ból lett kivonva, vagyis egy nagy modell megtanította egy kicsinek, hogyan kell válaszolni. Bemenetként szöveget és képeket fogad, de csak szöveget állít elő, több mint 100 nyelvet kezel, és több mint 131 000 tokenből álló kontextusablakkal működik. Tudása 2026. január 4-ig terjed. A Meta legújabb kiadványai a Muse Code ügynök és a Muse Image generátor voltak.

A belépés ára 24 GB VRAM

Teljes pontosság mellett a modellnek 64 GB videomemóriára lenne szüksége. A Meta kvantálás segítségével körülbelül 4-bitesre tömöríti ezt, ami egy durvább számtárolási módszer, és sokkal kevesebb helyet foglal. Ezzel a nyelvi rész mérete 20 GB alá csökken, így marad hely a képfeldolgozó kódolónak és a folyó beszélgetés gyorsítótárának.

Két kész változat is elérhető hozzá. A K-Quant-Dynamic 32 GB-ot igényel, és 15 benchmarkon átlagosan 0,2 százalékos pontosságveszteséget okoz, míg a K-Quant-17GB 24 GB-ba fér bele, és 1,0 százalékos pontosságveszteséget eredményez. A gyakorlatban ez egy GeForce RTX 5090, RTX 4090, RTX 3090 vagy egy M4 Max processzorral felszerelt Mac-et jelent. Egy 12 GB-os középkategóriás kártya nem jön szóba. Ha kevesebb memóriád van, útmutatónk bemutatja a saját laptopodhoz alkalmas kisebb modelleket, és ma már még az iPhone is képes futtatni egy használható nyelvi modellt.

Egy gyorsítóval háromszor gyorsabbá válik

Annak érdekében, hogy a helyi modell ne legyen lassú, a Meta egy DFlash nevű segédprogramot is mellékel. Ez egyszerre 16 tokent javasol, és a nagy modell egyetlen átfutás alatt ellenőrzi az egész blokkot, és csak a hibás részeket javítja ki. A Meta saját mérései szerint az RTX 5090-en az átviteli sebesség másodpercenként 74,9-ről 233,4 tokenre emelkedik, ami 3,1-szeres növekedést jelent. Egy M5 Max-szal felszerelt MacBook esetében az érték 26,6-ról 50,2 tokenre, az M4 Max esetében pedig 23,7-ről 37,8-ra nő.

Az AMD ugyanazon a napon tette közzé saját adatait. Egy Ryzen AI Max+ 395-tel felszerelt mini PC másodpercenként akár 24 tokent, egy Radeon AI PRO R9700 pedig akár 53-at is elér, a méréseket Windows rendszeren, a llama.cpp programmal végezték. Az AMD ezeket az adatokat előzetesnek minősíti.

Erős a tervezésben, gyengébb a felhasználói felületen

A Meta a Muse Glimmert a Google Gemma4-31B és az Alibaba Qwen3.6-27B modelljeivel hasonlítja össze. Amikor a modell eszközöket hív meg és több lépésben tervez, egyértelműen vezet. Az MCP Atlas-on 75,5 pontot ér el a 54,2 és 62,5 ponttal szemben, a DeepSearch QA-n pedig 74,6 pontot a 61,7 és 71,1 ponttal szemben.

Más területeken a Qwen nyer. Egy valódi asztali felület vezérlésénél az eredmény 65,9–75,6, a terminálon pedig 51,7–60,7. A Siren AgentDojo biztonsági tesztjén, amely azt méri, hogy egy modell mennyire könnyen manipulálható külső dokumentumokban elrejtett utasításokkal, a Muse Glimmer 28,4 százalékos támadási sikeraránya megelőzi a Qwent, de elmarad a Gemma4 25,6 százalékos eredményétől. Érdemes ezt szem előtt tartani, mielőtt a modellt a saját fájljaidra és e-mailjeidre irányítanád.

Hogyan szerezhetjük be

Négy csomag várja a felhasználókat a Hugging Face-en: az alapmodell a teljes BF16 súlyokkal, a llama.cpp-hez tartozó GGUF-fájlok, az Apple-eszközökre szánt ExecuTorch-összeállítások, valamint a DFlash segédprogram. A legegyszerűbb út az LM Studio, ahol a modell a keresés során megjelenik. Az AMD ehhez 32 GB-nál több videomemóriát vagy azzal egyenértékű rendszermemória-allokációt javasol. Ha ennél kevesebb áll rendelkezésre, olyan szolgáltatók, mint az Unsloth, kisebb kvantizációkat kínálnak, de ilyenkor a modell egy részét át kell helyezni a hagyományos rendszermemóriába, ami észrevehető sebességveszteséggel jár. A közösség gyorsan reagált. A kiadás után kevesebb mint egy nappal már 57 további kvantizáció és hat finomhangolás volt elérhető. A Kimi K3-nál megszokott módon böngészőben kipróbálni itt nem lehetséges. A megfelelő hardver nélkül a Muse Glimmer elérhetetlen marad.