A Google Pixel 11 az amerikai jelnyelvet gépelt szöveggé alakítja

A Google DeepMind szerdán mutatta be a jelnyelvi fordítási modellt, amely nem marad a laboratóriumban. Az SL2T (a „sign-language-to-text” rövidítése) mostantól a Gboard billentyűzeten és a Live Transcribe alkalmazásban is működik a Pixel 11-en. Jeleljen, és szöveget kap! Bárhol működik, ahol általában gépelne: webes kereséseknél, üzeneteknél, dokumentumoknál és a Gemini parancsoknál. A Google nem számol fel érte külön díjat.

A siket felhasználók számára ez több, mint egyszerű kényelem. Világszerte körülbelül 70 millió ember használja elsődleges nyelvként a több mint 200 jelnyelv egyikét, és a diktálás – amit a halló felhasználók évek óta természetesnek vesznek – számukra soha nem volt elérhető. A Live Transcribe alkalmazásban most már válaszolhatnak a beszélgetés során, ahelyett, hogy leírnák a szöveget.

A kamera soha nem küld videót a Google-nak

A legérdekesebb része az adatvédelmi kialakítás. A modell soha nem látja a kamera képét. A MediaPipe Holistic a telefonon fut, és a felvételt testtáji pontokra, a kezek, karok, fej és arc egyszerű koordinátáira redukálja. Csak ezek a számok jutnak el a szerverre, és a Google szerint a videót azonnal törlik.

Ugyanilyen fontos az is, amit a Google kihagyott. A korábbi rendszerek glosszák segítségével fordítottak, ami az egyes jelek durva köztes jelölése, amely elvész belőle a jelnyelvek által valójában közvetített tartalom nagy része, beleértve az arckifejezéseket és a térhasználatot is. Az SL2T közvetlenül a testrészekről származó koordinátákból alakítja át szöveggé. A betanításhoz több mint 100 000 órányi felvételt használtak fel, amelyek több mint 50 jelnyelvet fedtek le, ennek nagyjából egynegyede az amerikai jelnyelv volt. A FLEURS-ASL referencia-teszten 70 BLEURT pontszámot ért el – ez a fordítási minőség egyik mérőszáma –, anélkül, hogy előzetesen látta volna a tesztadatokat.

Csak egy nyelv, és a Google jelzi a saját hibáit

A nyelvlista jelenti a bökkenőt. A bevezetéskor az SL2T csak az ASL-t fordítja angolra, semmi mást, így a brit, a német vagy bármely más jelnyelvet használók még mindig várnak. A Google további nyelveket és eszközöket ígér, de dátumot nem nevez meg.

A pontosság sem hibátlan, és ezt a vállalat saját példáiban is elismeri. A gyors ujjbetűzés a „prey” szót „grey”-re változtatja, egy leíró osztályozó kiesik, az igeidő pedig eltolódik, ha hiányzik a kontextus. A csapat foglalkozott a gyakorlati problémákkal is: a valós idejű fordítás során fellépő késleltetéssel, a kitalált kimenettel, amikor senki sem jelel, a balkezes jelelőkkel, valamint az egykezes jeleléssel, amelyre akkor van szükség, amikor a másik kéz a telefont tartja.

A fejlesztés során végig bevonták a siket szakembereket is. Az AISLAC nevű tanácsadó csoport kísérte a kiadást, és társszerzőként részt vett egy jelentés elkészítésében, amelyben összefoglalták, mire képes és mire nem képes a modell.

Egyelőre csak a Pixel 11-en

A funkció kipróbálásához Pixel 11-et kell vásárolni. A Google augusztus 12-én indította el az előrendeléseket, és augusztus 13-án a Google Store még mindig 899 dolláros áron kínálja a telefont előrendelésre. A régebbi készülékek, például a Pixel 10 Pro, egyelőre kimaradnak a szolgáltatásból.