- Umožňuje zvukové popisy v reálném čase prostřednictvím kamery a Gemini Live.
- Zahrnuje pomoc s nastavením mobilního zařízení a kladením doplňujících otázek.
- Je navržen jako nástroj pro usnadnění přístupu pro nevidomé nebo zrakově postižené osoby.
- Vyžaduje Android 9 nebo vyšší a nenahrazuje tradiční pomůcky pro mobilitu.
Představte si, že byste mohli nosit v kapse někoho, kdo dokáže v reálném čase přesně popsat, co se kolem vás děje. To je v podstatě to, co Google udělal integrací Guided Vision do Gemini Live , funkce, která boří tradiční dynamiku psaní otázky a čekání na odpověď a nyní nám umožňuje interagovat s umělou inteligencí jednoduše tím, že jí ukážeme svět skrz objektiv fotoaparátu.
Tento nástroj není jen statický analyzátor fotografií; nabízí plynulou a dynamickou konverzaci založenou na počítačovém vidění. I když má obrovský potenciál pro každého, kdo potřebuje pomoc s vizuálními detaily, jeho hlavním účelem je přístupnost pro nevidomé nebo zrakově postižené osoby s cílem učinit prostředí mnohem srozumitelnějším a ovladatelnějším prostřednictvím přesných zvukových instrukcí.
Jak přesně tato technologie funguje?
Proces je poměrně jednoduchý: uživatel aktivuje funkci a sdílí signál kamery s Gemini Live. Poté umělá inteligence analyzuje živý obraz a uživatel se může zeptat na cokoli, co vidí. Nejsilnější funkcí je, že umožňuje doplňující otázky ; to znamená, že pokud Gemini identifikuje sklenici s džemem, můžete se okamžitě zeptat na datum spotřeby nebo složení, aniž byste museli dotaz restartovat.
Na rozdíl od jiných nástrojů dokáže Guided Vision vést záběr telefonu . Pokud zařízení míří příliš vysoko, příliš blízko k objektu nebo je mírně mimo střed, asistent vám poskytne slovní pokyny k úpravě polohy telefonu . Díky tomu má umělá inteligence k dispozici potřebné vizuální informace, aby se předešlo chybám v jeho popisu.
Praktické nástroje pro každodenní život
Aplikace jsou neuvěřitelně rozmanité a řeší každodenní situace, které mohou být někdy náročné. Je například ideální pro čtení drobného písma na nutričních štítcích nebo příbalových letácích k lékům, kam vaše oči nevidí. Je také velmi užitečný pro vyhledávání ztracených předmětů ; můžete pohybovat telefonem po místnosti a požádat ho, aby vás upozornil, když například detekuje sluchátko, které spadlo na podlahu, nebo pepřenku v kuchyni plné sklenic.
Nástroj se navíc ponořuje do subjektivnějších a estetických oblastí. Guided Vision dokáže rozpoznávat vzory, tvary a barvy , takže se ho můžete zeptat, zda se pruhované tričko hodí k určitým kalhotám, nebo jednoduše zjistit, jakou barvu má oděv. Dokáže dokonce poskytnout obecný popis neznámé místnosti nebo identifikovat předměty na stole.
Konfigurace a kompatibilita s Androidem
Nejpřímějším způsobem pro začátek je otevřít aplikaci Gemini, přejít do nastavení profilu a povolit možnost používat funkci Live Guided Vision. Jakmile to uděláte, jednoduše otevřete Gemini Live a sdílejte záznam z kamery. Pro ty, kteří hledají ještě rychlejší přístup, Google přidal možnost vytvořit zástupce z nabídky Usnadnění přístupu (Zrak), který můžete aktivovat gesty dvěma prsty, plovoucím tlačítkem nebo současným stisknutím obou tlačítek hlasitosti.
Co se týče technických požadavků, funkce běží hladce na zařízeních s Androidem 9 nebo novějším , za předpokladu, že je Gemini Live k dispozici v jazyce a regionu uživatele. Je nezbytné mít operační systém i aplikaci Gemini aktualizované na nejnovější verzi . Kromě toho je plně integrována s Google TalkBack , aby se maximalizovala nezávislost uživatelů se zrakovým postižením.
Proces vývoje a bezpečnostní varování
Tento průlom nebyl otázkou náhody, ale spíše výsledkem úzké spolupráce se společností Aira, experty na vizuální interpretaci . Pro zajištění spolehlivosti systému byly použity tisíce hodin reálných dat spolu s podporou více než 1 000 testerů ze sítě Trusted Tester , což zaručilo, že umělá inteligence chápe, jaké informace člověk v každodenní situaci skutečně potřebuje.
Google si však v jednom bodě trvá: tento nástroj není ani zdravotnickým prostředkem, ani bezpečnostním systémem. Společnost varuje, že Guided Vision může dělat chyby, a proto by neměl být používán k navigaci v ulicích, detekci překážek v cestě ani k nahrazení funkce vodicího psa nebo hole. Jeho účelem je doplňková vizuální asistence , nikoli bezpečné navádění pro mobilitu.
Tato integrace vidění v reálném čase představuje paradigmatický posun, kdy se již nepřizpůsobujeme rozhraní telefonu, ale umělá inteligence se přizpůsobuje našemu prostředí. Kombinací pokročilého vizuálního rozpoznávání s přirozeným hlasovým rozhraním Google transformuje mobilní telefon v inteligentního společníka schopného číst, identifikovat a vést uživatele v jakékoli každodenní situaci.