A költészet által meghekkelt - miért nem sikerül a mesterséges intelligencia modelleknek a költői felkérésekkel szemben
Az OpenAI és a hasonló vállalatok jelentős időt és erőforrásokat fektetnek olyan biztonsági rendszerek kiépítésébe, amelyek célja, hogy megakadályozzák, hogy a mesterséges intelligencia modelljeik káros vagy etikátlan tartalmakat hozzanak létre. Mégis, ahogyan a egy november 19-én közzétett tanulmányból kiderül, 2025 mutatja, ezek a védelmi eszközök könnyen megkerülhetők. Az eredmények szerint ehhez mindössze néhány ügyesen megfogalmazott költői felszólítás szükséges.
A DEXAI, a római Sapienza Egyetem és a Sant'Anna School of Advanced Studies kutatói kilenc különböző szolgáltató 25 nyelvi modelljét tesztelték, kézzel készített és automatikusan generált versek felhasználásával. A kézzel készített, káros utasításokat tartalmazó versek átlagosan az esetek 62%-ában sikerült kijátszani a biztonsági intézkedéseket, míg az automatikusan generált verses bemenetek 43% körüli sikerarányt értek el. Egyes esetekben a modellek védelmét az esetek több mint 90%-ában sikerült áttörni.
A kutatók szerint ez a sebezhetőség abból ered, hogy a nyelvi modellek biztonsági szűrőit elsősorban egyszerű, tényszerű nyelvezeten képzik ki. Amikor költői - metaforában, ritmusban és rímben gazdag - inputot kapnak, a modellek hajlamosak azt inkább kreatív kifejezésként, mintsem potenciális fenyegetésként értelmezni. Az Adversarial Poetry tanulmány a mesterséges intelligencia biztonságának egy új dimenziójára világít rá, feltárva a nagy nyelvi modellek stilisztikai gyengeségét. A téma a oldalon is teret nyert a Redditen, ahol sok felhasználó "elég érdekesnek" vagy "klassznak" írja le a koncepciót, míg mások komoly aggodalmakat fejeznek ki a mesterséges intelligencia biztonságára gyakorolt hatásaival kapcsolatban.
