A Fish Audio Drama 3 lehetővé teszi, hogy az AI-hangok mondat közben érzelmet váltsanak

A Fish Audio bemutatta a Drama 3 szövegfelolvasó modellt, amelyet arra terveztek, hogy az MI által generált párbeszédek kevésbé hassanak felolvasott forgatókönyvnek, és inkább valódi színészi előadásnak hangozzanak. Az október 13-án megjelent modell lehetővé teszi az alkotók számára, hogy hétköznapi nyelven megfogalmazott utasításokkal szabályozzák az érzelmeket, a beszédtempót és a hanghordozást.

Ahelyett, hogy alapvető hangbeállításokra hagyatkoznának, a felhasználók közvetlenül a forgatókönyveikbe illeszthetnek utasításokat. Egy szereplő elkezdhet nyugodtan beszélni, egyre frusztráltabbá válhat, majd suttogva fejezhet be egy mondatot, mindezt különálló felvételek közötti váltás nélkül. Most már a szintetikus színészeknek is követniük kell a rendezői utasításokat.

A Drama 3 emellett többszereplős beszélgetéseket és 83 nyelvet is támogat. Az utasítások egyes szavakra vagy szövegrészekre is alkalmazhatók, így az alkotók kiemelhetnek bizonyos kifejezéseket anélkül, hogy a forgatókönyv többi részét megváltoztatnák.

A Fish Audio szerint a modell 93,2%-os pontosságot ért el az Artificial Analysis kiejtési robusztusságot vizsgáló teljesítménytesztjén, szemben elődje, az S2.1 Pro 88,1%-os eredményével. A kiejtés pontossága azonban nem feltétlenül garantál meggyőző érzelmi előadásmódot.

A vállalat két fejlett szerkesztőeszközt is fejleszt. Az Interactive Editing lehetővé teszi majd a felhasználók számára, hogy további utasításokkal finomítsák az előadásmódot, míg az Audio Inpainting egyes szavak cseréjére szolgál anélkül, hogy a teljes felvételt újra kellene generálni. Mindkettő továbbra is korlátozott, kizárólag meghívásos tesztelés alatt áll.

A Drama 3 a Fish Audio weboldalán, mobilalkalmazásain és API-ján keresztül érhető el. A modell súlyai is letölthetők, bár a kereskedelmi felhasználásra licenckorlátozások vonatkoznak.

November 12-ig az API-hozzáférés egymillió karakterenként 10 dollárba kerül, ami 80%-os kedvezmény a szokásos 50 dolláros díjhoz képest. Az új alkotói előfizetésekre szintén 50%-os kedvezmény jár az akciós időszakban.