Az ingyenes, nyílt forráskódú DeepSeek V3.2 Exp AI LLM alacsonyabb számítási költségekkel debütál, így a vállalkozások még több pénzt takaríthatnak meg

A DeepSeek kiadta legújabb mesterséges intelligencia nagy nyelvi modelljét, a DeepSeek-V3.2-Exp-t, jelentősen csökkentett számítási költségekkel. Ez az optimalizálás segít azoknak a vállalkozásoknak, amelyek a vállalat API-ját használják alkalmazásaikban, pénzt megtakarítani, miközben hozzáférést biztosítanak egy intelligens mesterséges intelligenciához, amely a 11. helyen áll a világszerte kiadott legerősebb LLM-ek között.

Ezt egy új DeepSeek Sparse Attention (DSA) kialakítással sikerült elérni, amely a tokenek indexelésére összpontosít, nem minden második tokenre, mint a hagyományos AI-transzformátorok esetében, hanem csak a legrelevánsabbakra. Ez lehetővé teszi a mesterséges intelligencia számára, hogy a 128K token ablakig gyorsabban dolgozza fel a bemeneti szöveget, kevesebb memóriahasználat mellett.

A DeepSeek V3.2 Exp-et a nyilvános API-n keresztül elérő alkalmazásfejlesztők a korábbi verzióhoz képest több mint 50%-kal alacsonyabb árra számíthatnak, miközben a szabványosított AI benchmarkokban hasonló teljesítményt nyújtanak.

A 400 GB-os AI LLM ingyenesen letölthető a Hugging Face oldalról és a nagy teljesítményű számítógépeken helyben futtatható. Azoknak az olvasóknak, akik ezt teszik, több Nvidia H100 Nvidia H100/H200/H20 GPU-kkal vagy egyetlen NVIDIA B200/GB200 szerverhez, legalább a modell 1,5+ TB VRAM-igénye miatt.

Azoknak az olvasóknak, akik a DeepSeek v3.2-t otthoni asztali számítógépeken szeretnék futtatni, várniuk kell, amíg a kvantált modellek megjelennek a Hugging Face, oldalon, mint például ez a v3.1-hez az unsloth-tól, és legalább 24 GB memóriával rendelkező GPU-val kell rendelkezniük, mint például ez az Nvidia 5090 az Amazonon.