A Microsoft Maia 300 AI-chip óriási, 288 GB-os HBM4 memóriával és 18 TB/s sávszélességgel érkezik

A Microsoft hivatalosan bemutatta a Maia 300 nevű, legújabb saját tervezésű AI-gyorsítóját, amelynek célja, hogy csökkentse a vállalat függőségét az Nvidia és az AMD hardvereitől. Nem sokkal azután érkezik, hogy az OpenAI bemutatta saját fejlesztésű, Jalapeno nevű chipjét.  A chip az idén korábban megjelent Maia 200 utódja. Az első Maia chip, a Maia 100, 2023-ban mutatkozott be. 

A Maia 300 több chipletből álló kialakítást alkalmaz, amelynek fő számítási egysége a TSMC fejlett N2P (2 nm-es) gyártástechnológiájával készül. A tokozás külön memória- és I/O-chipleteket is tartalmaz, így a Microsoft az egyes komponenseket a saját követelményeikhez igazodó gyártástechnológiákkal állíthatja elő. A Reuters szerint a kiegészítő chipek egy része olcsóbb, 3 nm-es gyártástechnológiával készül.

A gyorsító akár 13,8 PFLOPS számítási teljesítményt nyújt FP4, illetve 6,9 PFLOPS-ot FP8 pontosság mellett. Az SoC névleges teljesítményfelvétele 950 W, ami jelentősen meghaladja a Maia 200 750 W-os értékét. A Microsoft nyolc HBM4 memóriastackkel szerelte fel a Maia 300-at, amelyek összesen 288 GB memóriát és 18 TB/s sávszélességet biztosítanak. Minden stack 36 GB kapacitást kínál, a HBM4 memória pedig érintkezőnként 9 Gb/s sebességgel működik. Összehasonlításképpen a Maia 200 216 GB HBM3E memóriával és 7 TB/s sávszélességgel rendelkezik, így az új gyorsító jól használható a memóriaigényes inferenciafeladatokhoz.

A Microsoft a gyorsító összekapcsolási képességeit is továbbfejlesztette. A Maia 300 3,2 TB/s kétirányú scale-up sávszélességet biztosít, és kétszintű, Ethernet-alapú hálózatot használ egy egyedi AI-adatátviteli protokollal. Egyetlen rackben 96 Maia 300 gyorsító fér el, míg a scale-up architektúra megközelítőleg 12 000 gyorsítót tartalmazó fürtöket támogat.

A puszta műszaki adatokon túl a Microsoft azt állítja, hogy a Maia 300 megawattonként 40%-kal több tokent képes előállítani, mint a vezető GPU-alapú AI-rendszerek. Egy teljesen kiépített, 96 gyorsítós konfiguráció állítólag a Maia 200 rackenkénti tokenfeldolgozási teljesítményének akár hétszeresét is nyújtja. A vállalat azonban nem közölt elegendő részletet a versenytársak GPU-konfigurációiról ahhoz, hogy hatékonysági előnyének mértékét függetlenül meg lehessen állapítani.

A Microsoft 2027-ben kívánja megkezdeni a Maia 300 éles környezetekben történő telepítését, és azt tervezi, hogy idővel több gigawattnyi kapacitásra bővíti az infrastruktúrát. A Reuters jelentése szerint a vállalat jövőre több mint egymillió Maia 300 chipet telepíthet, ami jól mutatja azon törekvését, hogy kevésbé függjön a külső gyártók AI-gyorsítóitól.