Google AI Edge Foresight: Offline AI megbeszélésjegyzetek készítéséhez Macen

Az eszközön helyben futó, minden adatot ott tartó AI elvileg az Apple ígérete. Most a Google kiadott egy Mac-alkalmazást, amely ugyanerre az ígéretre épül. A Google AI Edge Foresight egy kísérleti értekezlet-asszisztens, amely teljes egészében az eszközön fut. Rögzíti a mikrofon bemenetét és a rendszerhangot, így bármilyen értekezleti platformmal használható, igény esetén akár internetkapcsolat nélkül is.

Hogyan működik a gyakorlatban? Értekezlet közben a felhasználók rövid vázlatpontokat jegyeznek fel, a Foresight pedig a folyamatosan készülő átirat alapján részletes jegyzetekké bővíti ezeket. Az alkalmazás az értekezleten felmerülő kérdéseket is felismeri, és releváns válaszokat ad rájuk úgy, hogy természetes nyelvű keresést végez egy dokumentumokból, képekből, átiratokból és jegyzetekből álló személyes tudásbázisban. A Google szerint az átiratok és a hanganyagok teljes feldolgozása az eszközön történik, felhőszolgáltatásra szóló előfizetés nélkül.

Az EmbeddingGemma 2 hajtja

A Foresight a Google DeepMind új EmbeddingGemma 2 modelljét ötvözi a Gemma 4 nyelvi modellel. A beágyazási modellek nem generálnak szöveget. Ehelyett számszerű vektorokká alakítják a tartalmat, hogy a hasonló anyagok visszakereshetők legyenek. A második generáció a szöveget, a kódot, a képeket, a videóképkockákat és a hangot ugyanabba a vektortérbe helyezi. Így egy keresőkifejezéssel megtalálható egy felvétel adott pillanata anélkül, hogy előbb képleírásokat vagy átiratot kellene készíteni. A modell 740 millió paraméterrel rendelkezik, a Gemma 4 architektúráját használja, és Apache 2.0 licenc alatt érhető el, így a fejlesztők szabadon integrálhatják saját alkalmazásaikba.

A Google egy olyan teljesítményadatot is közöl, amely érdekelheti a Mac-felhasználókat: egy kép feldolgozása az M5 Pro GPU-ján 37,3 ms-ot vesz igénybe, ami másodpercenként valamivel kevesebb mint 27 képnek felel meg. A képfeldolgozást tartják a munkaterhelés számításigényesebb részének, és a Google szerint kifejezetten optimalizálta ezt a folyamatot.

Ígéretes bemutatóalkalmazás

A Foresight elsősorban a fejlesztőknek szánt bemutatóalkalmazás, és maga a Google is kísérleti alkalmazásként írja le. Mégis érdekes alternatívát kínál azoknak, akik bizalmas értekezleteket tartanak, és inkább nem bíznák az átirataikat egy felhőszolgáltatásra. A Google nem közölte, hogy az átírás ugyanolyan jól működik-e az angoltól eltérő nyelveken tartott értekezleteknél, bár a hozzá kapcsolódó AI Edge Gallery alkalmazásban német keresőkifejezésekkel is bemutatja a képkeresést.