A tanulmány megállapítja: A felhasználók a valódi okai a mesterséges intelligencia hallucinációinak

Kitalált tények, kitalált idézetek vagy teljesen hamisnak tűnő források - a mesterséges intelligencia hihetetlenül hasznos lehet, de még mindig magában hordozza a hallucinációk veszélyét. Az OpenAI kutatói szerint az egyik kulcsfontosságú tényező egy egyszerű jutalmazási mechanizmus, amely találgatásokra ösztönzi a mesterséges intelligenciát. A tanulmány október 3-án jelent meg a arXiv.org oldalon arra is utal, hogy maguk a felhasználók is szerepet játszhatnak a hallucinált válaszok kiváltásában.

A "Mind the Gap: Linguistic Divergence and Adaptation Strategies in Human-LLM Assistant vs. Human-Human-Human Interactions" című tanulmány azt sugallja, hogy sok úgynevezett AI hallucináció a felhasználók kommunikációs módjából eredhet. A kutatók több mint 13 000 ember-ember közötti beszélgetést és 1357 valós interakciót elemeztek emberek és AI chatbotok között. Az eredmények azt mutatják, hogy a felhasználók hajlamosak egészen másképp írni, amikor mesterséges intelligenciával beszélgetnek - az üzenetek rövidebbek, kevésbé nyelvtaniak, kevésbé udvariasak és szűkebb szókincset használnak. Ezek a különbségek befolyásolhatják, hogy a nyelvi modellek mennyire egyértelműen és magabiztosan válaszolnak.

Az elemzés hat nyelvi dimenzióra összpontosított, köztük a nyelvtanra, az udvariasságra, a szókincs terjedelmére és az információtartalomra. Míg a nyelvtan és az udvariasság több mint 5%-kal, illetve 14%-kal magasabb volt az ember-ember közötti beszélgetésekben, a ténylegesen közvetített információtartalom közel azonos maradt. Más szóval, a felhasználók ugyanazt a tartalmat osztják meg a mesterséges intelligenciával - csak érezhetően durvább hangnemben.

A kutatók ezt "stílusváltásnak " nevezik Mivel az olyan nagy nyelvi modelleket, mint a ChatGPT vagy a Claude, jól strukturált és udvarias nyelvezeten képzik ki, a hangnem vagy stílus hirtelen változása félreértelmezéseket vagy koholt részleteket okozhat. Más szóval, a mesterséges intelligenciák nagyobb valószínűséggel hallucinálnak, ha nem egyértelmű, udvariatlan vagy rosszul megírt inputot kapnak.

Lehetséges megoldások mind a mesterséges intelligencia, mind a felhasználó oldalán

Ha a mesterséges intelligenciamodelleket a nyelvi stílusok szélesebb skálájának kezelésére képzik ki, akkor a tanulmány szerint legalább 3%-kal javul a felhasználói szándék megértésének képessége. A kutatók egy másik megközelítést is teszteltek: a felhasználói bemenet automatikus, valós idejű átfogalmazását. Ez azonban némileg csökkentette a teljesítményt, mivel az érzelmi és kontextuális árnyalatok gyakran elvesztek. Ennek eredményeképpen a szerzők azt javasolják, hogy a stílustudatos képzés legyen az AI finomhangolás új szabványa.

Ha azt szeretné, hogy az AI asszisztens kevesebb kitalált választ adjon, a tanulmány azt javasolja, hogy inkább úgy kezelje, mint egy embert - teljes mondatokban írjon, megfelelő nyelvtant használjon, tartsa meg a világos stílust és legyen udvarias a hangnem.