Az Nvidia RTX 5090 fut a macOS-en a Tiny Corp új, egyedi illesztőprogramjával

Apple és az Nvidia már évekkel ezelőtt felbontotta partnerségét, így a Mac felhasználók hivatalos GPU-támogatás nélkül maradtak. Ez a kiesés gyakorlatilag megölte a CUDA-t a platformon, és a fejlesztőket és kutatókat a Apple saját Metal keretrendszerére kényszerítette. A Tiny Corp új nyílt forráskódú meghajtója azonban végre rendezte ezt a kérdést, és visszahozta az Nvidia Blackwell hardvert a macOS ökoszisztémába.

A projekt a Tiny GPU nevű egyéni kernel-bővítményt használja. Ez lehetővé teszi, hogy a külső GPU-k, például az RTX 5090, közvetlenül kapcsolódjanak a Apple Silicon Mac-ekhez Thunderbolt 5 vagy USB4 segítségével. Ez már önmagában is nagy technikai ugrás, mivel teljesen elkerülhetővé teszi a virtuális gépek használatát. Az Alex Ziskind által bemutatott demóban egy RTX 5090 32 GB VRAM-mal sikeresen párosult egy Mac Mini M4 Pro-val (curr. 1399 dollár az Amazonon a 24 GB/512 GB-os változatért, itt a részletes értékelésünk).

Bár a kapcsolat stabil, a jelenlegi szoftvercsomag még korai stádiumban van. Az illesztőprogram a Tiny Grad fordítóra támaszkodik, nem pedig a natív Metal vagy CUDA optimalizálásokra. Ez a nehéz számítási feladatok során teljesítményhiányt okoz. A Llama 3.1 8B modell futtatása során, a beállítás nagyjából 7,48 tokent ért el másodpercenként. Bár ez egy nagy győzelem a kompatibilitás szempontjából, Alex szerint még mindig lassabb, mint a natív Llama CPP a Metalon, ami közel tízszer gyorsabb az egyenértékű hardveren.

Ettől függetlenül a projekt igazi értéke a jövőbeli optimalizálási lehetőségek. A jelenlegi szűk keresztmetszetet nem a Thunderbolt 5 kábel jelenti, amely hatékonyan kezeli a modell súlyának átvitelét, hanem az autogenerált kernelek hatékonysága. Az egyszerű csevegőfelületek esetében a Blackwell-beállítás fürge, és az első tokenre jutás ideje háromszor-négyszer gyorsabb, mint a natív Metal-megoldásoké.

A telepítési folyamat magában foglalja egy rendszerkiterjesztés jóváhagyását és egy Docker-alapú fordítócsővezeték futtatását. Nyilvánvalóan (még) nem helyettesíti az áramvonalas Metal munkafolyamatokat, de mégis, évek óta ez az első működőképes.