A Tencent négy kompakt, nyílt forráskódú Hunyuan modellt mutat be 0,5B, 1,8B, 4B és 7B paraméterekkel

A Tencent a oldalon tette közzé egy új, kompakt Hunyuan modellcsaládot: 0.ezek az alacsony fogyasztású és szélsőséges telepítésre szánt modellek. Mind a négy konfiguráció elérhető már a GitHubon és az Hugging Face-en, és mindegyik képes egyetlen fogyasztói szintű grafikus kártyán futtatni a következtetéseket, így alkalmasak laptopokhoz, okostelefonokhoz, okoskabinos rendszerekhez és más, erőforrás-korlátozott hardverekhez.

Kis méretük ellenére a modellek több nyilvános benchmarkban is vezető pontszámokat érnek el a nyelvi megértés, a matematika és a következtetés terén. A Tencent ezeket az eredményeket a "fúziós gondolkodás" architektúrájának tulajdonítja, amely lehetővé teszi a felhasználók számára, hogy válasszanak a tömör válaszokhoz szükséges gyors gondolkodási mód és a bonyolultabb, többlépcsős gondolkodáshoz szükséges lassú gondolkodási mód között.

A legfontosabb technikai jellemző a natív 256K token-kontextusablak, amely elegendő nagyjából 500 000 angol szó egyetlen menetben történő beviteléhez. A Tencent kiemeli az olyan házon belüli alkalmazásokat, mint a Tencent Meeting és a WeChat Reading, ahol a modellek képesek egyszerre elemezni egy teljes tárgyalási jegyzőkönyvet vagy egy teljes hosszúságú könyvet, fenntartva a karakterkapcsolatokat és a cselekmény részleteit a későbbi lekérdezésekhez.

A négy kompakt LLM integrálható a mainstream következtetési keretrendszerekkel, köztük az SGLanggal, a vLLM-mel és a TensorRT-LLM-mel, és többféle kvantálási formátumot támogat. Az Arm, a Qualcomm, az Intel és a MediaTek kezdeti jóváhagyásai azt jelzik, hogy hamarosan az adott kliensprocesszorokhoz optimalizált telepítési csomagok állnak rendelkezésre.

A korai felhasználási esetek aláhúzzák a kiadás gyakorlatiasságát. A Tencent Mobile Manager milliszekundumos szintű spam-elfogadásról számol be, készüléken kívüli adatátvitel nélkül. Ugyanakkor a Tencent intelligens kabinos asszisztensének kettős modellje egyensúlyt teremt a fedélzeti energiafogyasztás és a beszélgetés mélysége között. A Tencent szerint ezek a példák azt mutatják, hogy kis modellek is képesek vállalati szintű ügynöki képességeket biztosítani, ha átgondoltan tervezik őket.