- Umožňuje zvukové popisy v reálnom čase prostredníctvom kamery a Gemini Live.
- Zahŕňa to pomoc s nastavením mobilného zariadenia a kladením doplňujúcich otázok.
- Je navrhnutý ako nástroj na uľahčenie prístupu pre nevidiacich alebo zrakovo postihnutých ľudí.
- Vyžaduje Android 9 alebo novší a nenahrádza tradičné pomôcky pre mobilitu.
Predstavte si, že by ste mohli nosiť vo vrecku niekoho, kto dokáže v reálnom čase presne opísať, čo sa okolo vás deje. V podstate to urobila spoločnosť Google integráciou funkcie Guided Vision do služby Gemini Live , ktorá sa vymyká tradičnej dynamike písania otázky a čakania na odpoveď a teraz nám umožňuje interagovať s umelou inteligenciou jednoducho tým, že jej ukážeme svet cez objektív fotoaparátu.
Tento nástroj nie je len statický analyzátor fotografií; ponúka plynulú a dynamickú konverzáciu založenú na počítačovom videní. Hoci má obrovský potenciál pre každého, kto potrebuje pomoc s vizuálnymi detailmi, jeho hlavným účelom je prístupnosť pre nevidiacich alebo zrakovo postihnutých osôb s cieľom urobiť prostredie oveľa zrozumiteľnejším a zvládnuteľnejším prostredníctvom presných zvukových pokynov.
Ako presne táto technológia funguje?
Proces je pomerne jednoduchý: používateľ aktivuje funkciu a zdieľa signál kamery so službou Gemini Live. Následne umelá inteligencia analyzuje živý obraz a používateľ sa môže opýtať na čokoľvek, čo vidí. Najsilnejšou funkciou je, že umožňuje doplňujúce otázky ; to znamená, že ak Gemini identifikuje pohár s džemom, môžete sa ho okamžite opýtať na dátum spotreby alebo zloženie bez toho, aby ste museli znova spúšťať dopyt.
Na rozdiel od iných nástrojov dokáže Guided Vision viesť záber telefónu . Ak je zariadenie namierené príliš vysoko, príliš blízko k objektu alebo mierne mimo stredu, asistent vám poskytne slovné pokyny na úpravu polohy telefónu . Vďaka tomu má umelá inteligencia k dispozícii potrebné vizuálne informácie, aby sa predišlo chybám v jeho popise.
Praktické nástroje pre každodenný život
Aplikácie sú neuveriteľne rozmanité a riešia každodenné situácie, ktoré môžu byť niekedy náročné. Je napríklad ideálny na čítanie drobného písma na nutričných etiketách alebo príbalových letákoch k liekom, kam vaše oči nevidia. Je tiež veľmi užitočný na lokalizáciu stratených predmetov ; môžete pohybovať telefónom po miestnosti a požiadať ho, aby vás upozornil, keď zistí napríklad slúchadlo, ktoré spadlo na podlahu, alebo koreničku v kuchyni plnej pohárov.
Okrem toho sa nástroj ponára do subjektívnejších a estetických sfér. Guided Vision dokáže rozpoznávať vzory, tvary a farby , takže sa ho môžete opýtať, či sa pruhované tričko hodí k konkrétnym nohaviciam, alebo jednoducho zistiť, akú farbu má odev. Dokáže dokonca poskytnúť všeobecný popis neznámej miestnosti alebo identifikovať predmety na stole.
Konfigurácia a kompatibilita so systémom Android
Najpriamejším spôsobom, ako začať, je otvoriť aplikáciu Gemini, prejsť do nastavení profilu a povoliť možnosť používať funkciu Live Guided Vision. Keď to urobíte, jednoducho otvorte Gemini Live a zdieľajte svoj kamerový kanál. Pre tých, ktorí hľadajú ešte rýchlejší prístup, Google pridal možnosť vytvoriť skratku z ponuky Prístupnosť (Zrak), ktorá vám umožní aktivovať ju gestami dvoma prstami, plávajúcim tlačidlom alebo súčasným stlačením oboch tlačidiel hlasitosti.
Pokiaľ ide o technické požiadavky, funkcia beží hladko na zariadeniach so systémom Android 9 alebo novším , za predpokladu, že Gemini Live je k dispozícii v jazyku a regióne používateľa. Je nevyhnutné mať operačný systém aj aplikáciu Gemini aktualizované na najnovšiu verziu . Okrem toho je plne integrovaná s Google TalkBack , aby sa maximalizovala nezávislosť pre používateľov so zrakovým postihnutím.
Proces vývoja a bezpečnostné upozornenia
Tento prielom nebol otázkou náhody, ale skôr výsledkom úzkej spolupráce so spoločnosťou Aira, expertmi na vizuálnu interpretáciu . Na zabezpečenie spoľahlivosti systému boli použité tisíce hodín reálnych údajov spolu s podporou viac ako 1 000 testerov zo siete Trusted Tester , čo zaručilo, že umelá inteligencia rozumie, aké informácie človek skutočne potrebuje v každodennej situácii.
Google však v jednom bode trvá na svojom: tento nástroj nie je ani zdravotníckou pomôckou, ani bezpečnostným systémom. Spoločnosť varuje, že systém Guided Vision môže robiť chyby, a preto by sa nemal používať na navigáciu po uliciach, detekciu prekážok v ceste ani na nahradenie funkcie vodiaceho psa alebo palice. Jeho účelom je doplnková vizuálna asistencia , nie bezpečné navádzanie pri mobilite.
Táto integrácia videnia v reálnom čase predstavuje zmenu paradigmy, kde sa už neprispôsobujeme rozhraniu telefónu, ale umelá inteligencia sa prispôsobuje nášmu prostrediu. Kombináciou pokročilého vizuálneho rozpoznávania s prirodzeným hlasovým rozhraním spoločnosť Google transformuje mobilný telefón na inteligentného spoločníka schopného čítať, identifikovať a viesť používateľa v akejkoľvek každodennej situácii.