Mesterséges intelligencia felhő nélkül: ez a nyelvi modell már az iPhone-odra is elfér

A nagy nyelvi modellek működtetéséhez általában adatközpontra, vagy legalábbis nagy memóriával rendelkező, nagy teljesítményű számítógépre van szükség. A Caltech kutatói által alapított, és többek között a Google és a Khosla Ventures által finanszírozott amerikai PrismML nevű startup július 14-én kiadta Bonsai 27B -t: egy 27 milliárd paraméterrel rendelkező mesterséges intelligencia-modellt, amelynek legkisebb verziója mindössze 3,9 GB helyet foglal. Ez az első alkalom, hogy egy ilyen osztályú modell elfér egy iPhone 17 Promemóriájába. Útmutatónk Mesterséges intelligencia felhő nélkül című útmutatónk bemutatja, hogyan állíthat be nyelvi modellt a saját számítógépén.

54 GB-ról 4 GB alá zsugorítva

Az Alibaba nyílt forráskódú Qwen3.6 27B modelljén alapul, amely teljes pontossággal körülbelül 54 GB helyet foglal. A PrismML a neurális hálózat minden súlyát a szokásos 16 bit helyett 1–2 bittel tárolja. Ennek eredményeként két változat jött létre: egy háromértékű, névleges 5,9 GB-os változat laptopokhoz, valamint egy 1-bites, 3,9 GB-os változat okostelefonokhoz. A gyártó szerint a laptopos változat 15 teljesítménymérőn az eredeti teljesítmény 95 százalékát, míg az okostelefonos változat 90 százalékát tartja meg. A matematikai és programozási feladatok gyakorlatilag nem változnak. A súlyok az Apache 2.0 licenc alapján szabadon elérhetők, és az Apple MLX keretrendszerén keresztül futnak iPhone-on, iPad-en és Mac-en, valamint CUDA-n keresztül az NVIDIA grafikus kártyákon.

Mire képes az iPhone, és hol vannak a határok

?

A fehér könyv szerint a 3,9 GB-os változat másodpercenként körülbelül 11 tokent generál egy iPhone 17 Pro Max körülbelül 11 tokent generál másodpercenként (, elérhető az Amazonon). Egy teljesen feltöltött akkumulátor körülbelül 67 000 token előállítására elegendő. Alig több mint öt perc folyamatos használat után a chip teljesítményét korlátozza. A teljesítménymérési adatok azonban magától a gyártótól származnak. Saját táblázata a képértelmezés és az eszközhasználat terén tárja fel a legnagyobb hiányosságokat, pontosan azokon a területeken, ahol az AI-ügynököknek kiemelkedő teljesítményt kell nyújtaniuk. Ezen felül a laptopos verzió tényleges letöltési mérete a futási környezettől függően 7,2 és 8,5 GB között mozog, ami jelentősen több a hirdetettnél. A hétköznapi felhasználók számára még nincs kész alkalmazás. Egyelőre a célcsoportot a fejlesztők és a kísérletezők alkotják. Aki csak ki szeretné próbálni a modellt, az talál egy böngészős demót a Hugging Face oldalon.

Az Apple máris vizsgálja a technológiát

Babak Hassibi, a PrismML vezérigazgatója a CNBC-nek , hogy az Apple és más cégek jelenleg a modellek sebességét, energiafogyasztását és teljesítményét tesztelik. A tárgyalásokat még nagyon korai stádiumban lévőnek írta le. A felhasználók számára a legfontosabb az irány: minél több AI fut közvetlenül az eszközön, annál kevesebb személyes adat kerül a felhőbe. Már részletesen írtunk arról, hogy mit tárol titokban a mesterséges intelligenciád , és hogyan lehet ezt megakadályozni.