A kockázat kifizetődik: DDR5 memóriával és Nvidia GH200 szuperchippel, 960 GB DDR5 memóriával, 80 000 dollár értékű hardverrel, az ár tizedéért
Kevesebb mint egy hete, beszámoltunk egy történetről a Redditről, ahol egy játékosnak mindössze 600 dollárért sikerült megszereznie egy nagy teljesítményű és jól felszerelt, körülbelül 3000 dollárt érő új játék-PC-t. Vicces módon a rendszerben lévő 64 GB DDR5 memória önmagában 880 dollárt ér e sorok írásakor, a DRAM kínálat folyamatos szűkössége miatt, ami egy soha nem látott növekedést a memóriaárak emelkedését.
80 ezer dollár értékű hardver 8 ezer dollárért: AI fejlesztő megütötte a főnyereményt
Most egy AI-fejlesztőnek, szintén a Redditen keresztül, sikerült levadásznia egy ínycsiklandó üzletet - egy használt AI-szervert kettős Nvidia GH200-zal szuperchippel, amelyet mindössze 8000 dollárért árulnak. Ha vadonatújként vennék, a rendszer valahol 80 000 dollárba kerülne, valószínűleg még ennél is többe, mivel a Nvidia H100 önmagában 40 000 dollár körül van, ahogyan azt a szerző a oldalon megjegyezte. Ja, és a rendszerbe egy 960 GB-os LPDDR5X memóriát is pakolnak. A rendszer pontos részleteit a vevő, David Noel Ng jóvoltából az alábbiakban részleteztük:
- Dual Nvidia Grace-Hopper GH200 Superchip - egyenként 72 magos ARM CPU 480 GB LPDDR5X memóriával, Hopper H100 GPU 96 GB HBM3 memóriával
- NVlink C2C 900 GB/s sávszélességgel
- 3 kW-os tápegység
- Kettős PCIe Gen4 M.2 22110/2280 foglalat
- Négy FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
Nvidia GH200 szuperchip akciósan? Van egy bökkenő
Az eladó egy másik válaszában elárulta, hogy a rendszert a rossz állapota miatt adta el akciósan, mivel folyadékhűtésről léghűtésre alakították át. Továbbá azt is megemlítették, hogy nem lehetett egy tipikus szerverállványra szerelni, ami általában előfeltétel.
Dávidot azonban nem zavarták ezek a hátrányok, és maga ment el az eladóhoz, hogy a rendszert átvizsgálja. Szerencsére rájött, hogy az eladó jó hírnévnek örvend, és történetesen nagyjából 2 órányira van a lakóhelyétől.
Miután a rendszert hazahozták, David gondoskodott egy porszívóról és néhány liter tisztítószerről, mielőtt munkához látott volna. Miután a szervert megtisztították, új vízhűtéses berendezést szereltek be, és elvégeztek néhány javítást. A legnagyobb kihívást talán egy hibás hőmérséklet-érzékelő kiderítése jelentette, amely miatt a szerver többször összeomlott, de végül minden megoldódott.
Tömeges LLM-ek itthon: 235B paraméteres modellek zökkenőmentesen futnak
David elégedettnek tűnik a vásárlással - és az azt követő képességével, hogy masszív LLM-eket (235B) futtathat otthon. Természetesen az egész folyamat rengeteg munkát igényelt, amelynek nagy része meghaladja a vállalati szintű hardverrel teljesen ismeretlenek hatáskörét. De ha figyelembe vesszük, hogy csak a 960 GB DDR5 memória most többet ér, mint amennyit az egész rendszerért fizetett, akkor ez mindenképpen happy end volt.
Azok számára, akik kisebb AI-modelleket szeretnének otthon futtatni anélkül, hogy 8000 dollárt és több órányi beállítási időt kellene rááldozniuk, a Strix Halo-motoros GMKtec Evo-X2(jelenleg 1529,99 dollár az Amazonon) talán jobb választás lehet.
Forrás(ok)
David Noel Ng, Reddit, kiszúrta Tom's Hardware
