A tanulmány szerint az AI chatbotok kevésbé pontos információkat nyújtanak a sérülékeny felhasználóknak

A nagy nyelvi modelleket széles körben forradalmi eszközként emlegetik, amelyek képesek demokratizálni az információhoz való globális hozzáférést. A Massachusetts Institute of Technology Center for Constructive Communication új kutatása azonban azt mutatja, hogy ezek a mesterséges intelligencia rendszerek rendszeresen alulteljesítik azokat a kiszolgáltatott demográfiai csoportokat, amelyek a legtöbbet profitálhatnának belőlük.

Az AAAI mesterséges intelligencia konferencián bemutatott tanulmány a legmodernebb chatbotokat vizsgálta, köztük az OpenAI GPT-4-et, az Anthropic Claude 3 Opus-t és a Meta Llama 3-at. A kutatók a modelleket a TruthfulQA és a SciQ adathalmazok segítségével tesztelték a tényszerűség és az igazságtartalom mérésére, miközben olyan felhasználói életrajzokat adtak elő, amelyek az iskolai végzettség, az angol nyelvtudás és a származási ország szerint változtak. Az eredmények azt mutatták, hogy az alacsonyabb iskolai végzettséggel vagy alacsonyabb angol nyelvtudással rendelkező felhasználók esetében jelentősen csökkent a pontosság. Ezek a negatív hatások a két kategória metszéspontjában lévő felhasználók esetében még súlyosabbak voltak.

A kutatás arra is rávilágított, hogy a modellek riasztó eltéréseket mutattak a lekérdezések kezelésében. A Claude 3 Opus például a kérdések közel 11%-ára nem volt hajlandó válaszolni a kevésbé iskolázott, angolul nem anyanyelvi szinten beszélő felhasználók esetében, míg a kontroll felhasználók esetében ez az arány csak 3,6% volt. Sok ilyen elutasítás esetén a modell lekezelő, lekezelő vagy gúnyos nyelvezettel válaszolt, esetenként tört angolságot utánozva. A modellek olyan témákkal kapcsolatos tényszerű információkat is visszatartottak, mint az atomenergia és a történelmi események, különösen az olyan országokból, mint Irán vagy Oroszország származó, kevésbé képzett felhasználók esetében, annak ellenére, hogy a többi demográfiai profil esetében az azonos kérésekre helyesen válaszoltak.

A kutatók arra figyelmeztetnek, hogy a személyre szabási funkciók egyre elterjedtebbé válásával ezek az eredendő szociokognitív torzítások a meglévő információs egyenlőtlenségek súlyosbodását kockáztatják azáltal, hogy csendben káros viselkedést és félretájékoztatást terjesztenek azok körében, akik a legkevésbé vannak felkészülve ezek felismerésére.