Talaas HC1: Hatékony chip minden GPU-t legyőz a helyi AI gyorsításban

A technológiai iparban, különösen a processzorok tervezésénél, bizonyos egyensúlyt kell találni az egyetemesség és a teljesítmény között. Bár a számítógépes chipek vagy rendszerek építhetők úgy, hogy univerzalitást kínáljanak, és így sokféle feladatot hajtsanak végre, általában lehetséges a rendszerek tervezése és optimalizálása nagyon specifikus alkalmazásokra is. Egy számítógépes chip esetében a teljes architektúra meghatározott adattípusok köré tervezhető, a speciális esetek kezelésére szolgáló mechanizmusok nélkül. Ez a koncepció néhányuk számára ismerősen hangozhat: A kriptobányászatban például az általános célú CPU-kat és GPU-kat nagyrészt ASIC-ek váltották fel, amelyek rendkívül hatékonyak egyetlen feladatuk ellátásában, de semmi másra nem használhatók.

Hasonló fejlődés van kialakulóban a mesterséges intelligencia gyorsításában is. Az integrált NPU-val ellátott processzorok már elérték a fogyasztói piacot. A Taalas cég nemrég mutatta be a HC1-et, egy olyan chipet, amelyet nem akármilyen AI-modell gyorsítására terveztek, hanem egy nagyon speciális modellre: a viszonylag kicsi Llama 3.1 8B-re. A specializáció ellenére bizonyos fokú finomhangolás továbbra is lehetséges. Taalas szerint a chip másodpercenként 16 960 tokenre képes, szemben az Nvidia B200 által szállított 353 token/másodperccel. A Cerebras WSE-3-hoz képest a HC1 állítólag tízszer nagyobb teljesítményt nyújt, miközben kevesebb energiát fogyaszt - nem beszélve arról, hogy nagyjából hússzor kevesebbe kerül. Az árakat és az elérhetőséget még nem jelentették be.