Az OpenAI új, nyílt forráskódú modelljei a számítógépen is futtathatóak
Az OpenAI bejelentette a gpt-oss-120b és a gpt-oss-20b kiadását, két nyílt súlyú modellt, amelyek ingyenesen letölthetők és helyben futtathatók a rendszerben. Ez a vállalat első nyílt forráskódú kiadása a GPT-2 2019-es bevezetése óta.
A gpt-oss-120b a 117 milliárd paraméteres modell, amelynek futtatásához bő 80 GB VRAM szükséges. A kisebb gpt-oss-20b - a 21 milliárd paraméteres modell - egyetlen GPU-n is elfér 16 GB VRAM-mal. Mindkét modell rugalmas Apache 2.0 licenc alatt érhető el.
Az OpenAI szerint a "kiadás egy jelentős lépés a nyílt forráskódú ökoszisztéma iránti elkötelezettségükben, összhangban azzal a kinyilvánított küldetésükkel, hogy az AI előnyeit széles körben elérhetővé tegyék" A vállalat azt szeretné, ha a fejlesztők, kutatók és vállalatok számára alacsonyabb költségű eszközként szolgálnának a hatékony futtatáshoz és testreszabáshoz.
Hogyan teljesítenek?
A gpt-oss-120b a Codeforces kódolási tesztjén 2622 pontot ért el eszközökkel, és ezzel majdnem ugyanolyan jól teljesített, mint a vállalat o3 és o4-mini modellje, és mindkét tesztben kényelmesen verte az o3-minit, amely eszközök nélkül 2643 pontot ért el.
A gpt-oss-20b 2516 pontot ért el eszközökkel, a pedig egyenértékű teljesítményt nyújtott az o3 és o4-mini teljesítményével, szerszámok nélkül pedig 2230-at, és ezzel alig előzte meg az o3-minit. Az OpenAI szerint a 120b még jobban teljesít az egészséggel kapcsolatos lekérdezésekben és a matematikában, mint az o4-mini, míg a 20b az o3-minit is felülmúlja.
Az OpenAI szerint mind a 120b, mind a 20b hajlamos sokkal többet hallucinálni, mint az o3 és o4-mini modellek. A tesztek során azt találták, hogy mindkét nyílt súlyú modell 49-53%-ban hallucinált a házon belüli benchmarkjaikon, amelyek az emberekkel kapcsolatos ismereteik alapján tesztelik a modelleket.
Mindkét modell letölthető a hivatalos Hugging Face helyről és a hatékonyság érdekében natívan MXFP4-ben kvantáltak. Emellett szabadon telepíthetők olyan platformokon, mint a Microsoft Azure, Hugging Face, vLLM, Ollama és llama.cpp, LM Studio, AWS, Fireworks, Together AI és sok más platformon is.
Az OpenAI arra számít, hogy ezek a modellek "csökkentik az akadályokat a feltörekvő piacok, az erőforrás-korlátozott ágazatok és a kisebb szervezetek számára, amelyeknek esetleg nincs meg a költségvetésük vagy a rugalmasságuk ahhoz, hogy saját fejlesztésű modelleket alkalmazzanak"
Arra a kérdésre, hogy miért nyitottak meg egy új modellt hat évvel az előző után, a vállalat azt mondja, hogy "széles körben elérhetővé és mindenki számára előnyössé akarják tenni az AI-t"
Forrás(ok)
