Hexagon NPU 6 a Snapdragon X2 Elite Extreme-ben: 80 TOPS teljesítmény, amely akár 95%-kal gyorsabb, mint a Apple M4 és 122%-kal gyorsabb, mint az Intel Lunar Lake
Qualcomm nemrég bemutatta következő generációs Snapdragon X2 Elite Extreme és a X2 Elite SoC-eket a laptopok számára. Az új X2 Elite lapkák nemcsak általános CPU, GPU és memória fejlesztésekkel, hanem a Hexagon NPU jelentős fejlesztéseivel is rendelkeznek.
A vállalat állítása szerint a legújabb Hexagon NPU a laptopok leggyorsabb NPU-ja, akár 80 TOPS AI feldolgozási teljesítményével. Ez közel 78%-os növekedés a 45 TOPS-hoz képest, amelyet a Snapdragon X termékcsalád.
Az X2 Elite Extreme ügynöki munkafolyamatokhoz készült
A Qualcomm kiemelte, hogy egyetlen LLM-ügynök 1024 kontextushosszúsággal és 14 milliárd paraméterrel (14B) akár 143 TOPS AI feldolgozási teljesítményt igényel, míg két (3B) vagy négy (7B) ügynöki felhasználási eset, amelyekben egyenként egy LLM és LVM fut egyidejűleg, akár 72 TOPS-t is igényelhet.
Ezzel együtt jár a Wattonkénti teljesítmény és az alacsony késleltetés optimalizálásának kihívása is.
A Qualcomm szerint a Snapdragon AI inferencia a Windows AI szoftvercsomaggal együttműködve teszi lehetővé a következő generációs ügynöki munkaterhelést. A támogatott nyílt ML keretrendszerek közé tartozik a PyTorch és a TensorFlow.
A Windows ML által kínált ONNX Runtime-mal együtt a Snapdragon AI inferencia a CPU-t, a GPU-t és az NPU-t is bevonhatja az eszközön történő AI-feldolgozás felgyorsítása érdekében.
A Snapdragon X sorozatú SoC laptop CPU-k jelenleg több mint 1000 modellt és több mint 300+ tapasztalatot támogatnak, amelyek az audio, videó, fotó, generatív AI, ügynöki AI és következtetés területén terjednek el.
Az NPU-alapú tapasztalatok olyan népszerű alkalmazásokban használhatók ki, mint az Adobe Premiere, Blender, VS Code, Affinity Photo és más alkalmazások.
A Hexagon két évtizedes fejlődése: 143%-os növekedés a skaláris és vektoros átviteli teljesítményben
A Qualcomm részletezte, hogy a Hexagon eredetileg digitális jelfeldolgozóként indult, amely elsősorban skalárfeldolgozást végzett, majd a jelenlegi NPU 6-os formában vektor-, egész szám és FP16 mátrixgyorsítást is végez.
A skalárfeldolgozás most 12 szálon keresztül zajlik, szálanként 4 széles, nagyon hosszú utasításszóval (VLIW), ami 143%-os teljesítménynövekedést eredményez, csökkentett késleltetés mellett.
Az NPU 6 emellett 127%-kal gyorsabb busszal és nyolc párhuzamos szálzal rendelkezik a 143%-kal gyorsabb vektorfeldolgozás érdekében, valamint támogatja az FP8 és BF16 processzorokat.
A mátrixegység független tápsínnel rendelkezik, és mostantól akár 78%-kal gyorsabb a 2 bites súlyozással és az FP8+BF16 támogatással.
Hexagon NPU 6: Akár 4x nagyobb teljesítmény izoteljesítmény mellett
A Qualcomm szerint az X2 Elite Extreme-ben lévő Hexagon NPU az X Elite-ben lévőhöz képest akár 1,6-szoros teljesítményre képes 5 W-os izoteljesítmény mellett, Enhanced Deep Super-Resolution (EDSR) munkafolyamat során.
Hexagon NPU 6: A világ leggyorsabb laptop NPU-ja
A Qualcomm a Snapdragon X2 Elite Extreme-ben található Hexagon NPU 6-ot a világ leggyorsabbjaként emlegeti, amely a Snapdragon X2 Elite Extreme-hez képest akár 5,7x nagyobb teljesítményt és 3,8x nagyobb hatékonyságot kínál Core Ultra 9 285H-hoz képestnPU-jával a Procyon AI Computer Visionben.
A Geekbench AI szerint a Hexagon NPU 6 közel 70%-kal gyorsabb, mint az NPU a Apple M4 míg a Core Ultra 9 288V-t 82,4%-kal előzi meg.
Természetesen ezek gyártói számok, így a végleges következtetéseket addig nem vonnánk le, amíg nem teszteljük az X2 Elite Extreme SoC-re épülő laptopokat a jövő év elején.
Vásárolja meg a Microsoft Surface laptopot Snapdragon X Elite (12 mag) processzorral az Amazonon)
Forrás(ok)
Qualcomm sajtóközlemény
