ChatGPT vs Gemini vs Grok hitelességi tanulmány szerint a Google kevesebbet vezet félre, de az AI dezinformáció megduplázódott
A Google Gemini válaszai a második leghitelesebbek a tíz vezető AI chatbot között, míg a ChatGPT a hetedik helyen áll, 40%-os valótlansággal a releváns hírekkel kapcsolatos kérdésekre adott válaszaiban. A Google Gemini félretájékoztatási aránya azonban egy év alatt több mint kétszeresére nőtt, a 2024 augusztusában mért körülbelül 7%-ról 17%-ra emelkedett, amikor a tesztvizsgálatot tavaly augusztusban megismételték.
A kutatók, akik rendszeresen végeznek hitelességi ellenőrzéseket a tíz legnépszerűbb mesterséges intelligencia eszközön, az általuk terjesztett valótlanságok drasztikus növekedését - 18% 2024-ben, szemben a mostani 35%-kal - a mesterséges intelligenciával működő chatbotok közötti megnövekedett versenynek tulajdonították. Amikor például 2024-ben egy chatbot nem tudta a választ egy hírre vonatkozó kérdésre, az esetek 31%-ában egyszerűen egy üres lekérdezést adott vissza.
2025 augusztusában azonban a nem-válaszok megjelenése nullára csökkent, ennek megfelelően nőtt a válaszként elhaladó valótlanságok száma. A legrosszabb vétkes az Inflection volt, amelynek Pi chatbotja büszke arra, hogy megpróbálja utánozni az emberi érzelmi intelligenciát. Az érzelmi intelligencia azonban nyilvánvalóan együtt jár azzal, hogy az AI-algoritmusokat egy adott irányba terelő hamis hírekkel és egyenesen propagandával árasztják el az internetet.
Sam Altman, az OpenAI munkatársa a oldalon nemrégiben adott interjújában elismerte a ChatGPT dezinformációs problémáját, és elmondta, hogy ami miatt éjjelente nem tud aludni, az az ellentmondás aközött, hogy mennyire könnyű beágyazni a jövőbeli modellekbe, és hogy az emberek mennyire bíznak a ChatGPT válaszaiban.
A leghitelesebb AI eszköznek az Anthropic's Claude bizonyult, mindössze 10%-ban adott hamis válaszokat ugyanazokra a lekérdezésekre, amelyeket a többiek futtattak, ez a szint nem változott a 2024 augusztusában végzett ugyanezen ellenőrzéshez képest. Ha nem lett volna Claude megbízhatósága, a vezető AI chatbotok általános megbízhatósági szintje még drasztikusabban csökkent volna.
Számos tesztelési forduló után a Apple nemrégiben felfedezte, hogy a hogy a Claude a leghitelesebb AI eszköz a Siri virtuális komornyikjának működtetésére is, és tárgyalásokat kezdett az Anthropic-kal, a Google ellenében Gemini az egyedi privát mesterséges intelligencia modelleket, amelyek a saját felhőszervereken futnak majd.
A leghitelesebb AI-eszközök rangsora
- Claude - 10 % rossz válasz.
- Gemini - 17% rossz válasz.
- Grok/You - 33% rossz válasz.
- Copilot/Mistral - 36% rossz válasz.
- ChatGPT/Meta - 40% rossz válasz.
Az AI-eszközök hitelességi tanulmánya a hírekkel kapcsolatos témákkal kapcsolatos lekérdezésekre vonatkozik, mivel az AI célzott propaganda erőfeszítések többsége erre irányul. A kutatók megállapították, hogy az orosz befolyásolási műveletek például folyamatosan elárasztják a zónát több millió, látszólag értelmetlen AI képkollázzsal, poszttal vagy a Pravda weboldalhálózat által terjesztett hírekkel, amelyek ártalmatlannak tűnhetnek, de arra szolgálnak, hogy az AI keresőeszközök hozzáállását egy bizonyos irányba tereljék.
Rengeteg más szereplő is megpróbálja befolyásolni az AI chatbotok válaszait, és a tanulmány kimutatta, hogy amint a Google, az OpenAI vagy az Anthropic megpróbálta frissíteni az algoritmusait, hogy betömje az álhírforrások egy típusát, a félretájékoztató kampányok más kiskapuk felé mozdultak el, ami egy állandó macska-egér játéknak ígérkezik. A végeredmény az, hogy a tanulmányban szereplő hírlekérdezésekre adott AI chatbot-válaszok több mint egyharmada nem hiteles, miközben az AI által vezérelt félretájékoztatás aránya mindössze egy év alatt kétszeresére nőtt.
Forrás(ok)
Newsguard (PDF)
