Az új rendszer az egyénre szabott gesztusokat beszédre fordítja a korlátozott kommunikációval rendelkezők számára

A Pennsylvaniai Állami Egyetem kutatócsoportja olyan prototípus rendszert fejlesztett ki, amely viselhető érzékelőket és mesterséges intelligenciát használ a gesztusok beszéddé alakítására. Ez a rendszer az egyénre jellemző testmozdulatokat alakítja beszéddé, ami megkülönbözteti az általános rendszerektől.

Ez az új megközelítés - amelyet az Augmentative and Alternative Communication című folyóiratban tettek közzé - arra szolgál, hogy segítse a mozgás- vagy látássérült egyének önállóbb és hatékonyabb kommunikációját. A rendszer legfontosabb újítása az egyéni szintű testreszabhatóság.

A hagyományos, nagy adathalmazokon betanított gesztus-beszédrendszerekkel ellentétben a rendszert úgy tervezték, hogy megtanulja az idioszinkratikus mozdulatokat - olyan gesztusokat, amelyeknek az adott személyre jellemző, egyedi jelentése van. Ez lehetővé teszi, hogy a technológia alkalmazkodjon a felhasználó által könnyen kivitelezhető mozdulatokhoz, ezáltal csökkentve a felhasználó fizikai megterhelését.

A rendszer úgy működik, hogy a személy egy érzékelőt visel a csuklóján, és körülbelül háromszor megismétli a gesztust. Egy mesterséges intelligencia algoritmus segítségével méri a gesztus mozgásjellemzőit, megtanulva annak egyedi mintázatát. Ezt a mintát vagy gesztust aztán hozzárendeli egy olyan beszélt mondathoz, mint például a "gyere ide" vagy a "hagyd abba". A csatlakoztatott okostelefon-alkalmazás hangosan kimondja a mondatot, amikor a felhasználó a gesztust végzi.

A csapat a fejlesztés során szorosan együttműködött olyan emberekkel, akiknek a beszédkészsége korlátozott volt. Az egyik figyelemre méltó résztvevő Emma Elko volt, aki kortikális látáskárosodásban szenved. A rendszer sikeresen megtanulta az ő személyes gesztusait, lehetővé téve számára, hogy édesanyja - elsődleges kommunikációs partnere - segítsége nélkül kommunikáljon.

A kutatók szerint a következő lépés az, hogy a prototípust több emberrel teszteljék, hogy finomítsák a hasonló gesztusok megkülönböztetésére és az önkéntelen mozdulatok figyelmen kívül hagyására való képességét. Azt is tervezik, hogy kamerákkal egészítik ki a meglévő érzékelőt, a nagyobb pontosság érdekében.