- Permet descripcions dàudio en temps real mitjançant la càmera i Gemini Live.
- Inclou assistència per enquadrar el mòbil i fer preguntes de seguiment.
- Està dissenyada com a eina daccessibilitat per a persones cegues o amb baixa visió.
- Requereix Android 9 o superior i no substitueix els ajuts de mobilitat tradicionals.
Imagina't poder portar a la butxaca algú que et descrigui exactament què passa al teu voltant en temps real. Doncs això és bàsicament el que ha fet Google en integrar Guided Vision dins de Gemini Live , una funcionalitat que trenca amb la dinàmica tradicional d'escriure una pregunta i esperar una resposta, permetent ara interactuar amb la intel·ligència artificial simplement ensenyant-li el món a través de l'objectiu de la càmera.
Aquesta eina no és un simple analitzador de fotos estàtiques sinó que proposa una conversa fluida i dinàmica basada en la visió artificial. Tot i que té un potencial enorme per a qualsevol persona que necessiti una mà amb detalls visuals, el cor i la raó de ser és l' accessibilitat per a persones cegues o amb visió reduïda, buscant que l'entorn sigui molt més comprensible i manejable mitjançant instruccions d'àudio precises.
Com funciona exactament aquesta tecnologia?
El procés és força senzill: l'usuari activa la funció i comparteix el senyal de la càmera amb Gemini Live. A partir d'aquí, la IA analitza la imatge en viu i l'usuari pot preguntar qualsevol cosa sobre què està veient. El més potent és que permet fer preguntes de seguiment ; és a dir, si Gemini identifica un pot de conserves, pots preguntar-li tot seguit quina és la data de caducitat o quins ingredients conté sense haver de reiniciar la consulta.
A diferència d'altres eines, Guided Vision és capaç de guiar l'enquadrament del mòbil . Si el dispositiu està apuntant massa amunt, molt a prop de l'objecte o lleugerament desviat, l'assistent us donarà indicacions verbals perquè ajusteu la posició del telèfon . D'aquesta manera, s'assegura que la IA tingui la informació visual necessària per no equivocar-se a la descripció.
Utilitats pràctiques per al dia a dia
Les aplicacions són variadíssimes i toquen punts molt quotidians que de vegades se'ns fan costa amunt. Per exemple, és ideal per llegir lletres minúscules a etiquetes nutricionals o prospectes de medicaments on la vista no arriba. També resulta molt útil per localitzar objectes perduts ; pots moure el mòbil per l'habitació i demanar-li que t'avisi quan detecti, per exemple, un auricular que ha caigut a terra o el pebrer en una cuina plena de pots.
A més, l'eina entra a terrenys més subjectius i estètics. Guided Vision pot reconèixer patrons, formes i colors , per la qual cosa podries consultar-li si una camisa de ratlles combina bé amb uns pantalons específics o simplement saber de quin color és una peça de roba. Fins i tot podeu fer una descripció general d'una estada desconeguda o detallar quines coses hi ha recolzades sobre una taula.
Configuració i compatibilitat a Android
Per posar-la en marxa, el camí més directe és entrar a l'app de Gemini, anar a la configuració del perfil i marcar l'opció de fer servir visió guiada en directe. Un cop fet això, només queda obrir Gemini Live i compartir la càmera. Per als que busquen més rapidesa, Google ha inclòs la possibilitat de crear un accés directe des del menú d'Accessibilitat (Assistència visual), permetent activar-ho mitjançant gestos amb dos dits, el botó flotant o fent clic als dos botons de volum alhora.
Pel que fa als requisits tècnics, la funció vola en dispositius amb Android 9 o versions més recents , sempre que Gemini Live estigui disponible a l'idioma i regió de l'usuari. És fonamental tenir tant el sistema operatiu com l'aplicació de Gemini actualitzats a la darrera versió . A més a més, s'ha integrat totalment amb Google TalkBack per maximitzar l'autonomia dels usuaris amb discapacitat visual.
El procés de desenvolupament i els advertiments de seguretat
Aquest avenç no ha estat fruit de l'atzar, sinó d'una estreta col·laboració amb Aira, experts en interpretació visual . Perquè el sistema fos realment fiable, es van utilitzar milers d'hores de dades reals i el suport de més de 1.000 emprovadors de la xarxa Trusted Tester , assegurant que la IA comprengués quina informació és la que realment necessita una persona en una situació quotidiana.
No obstant això, hi ha un punt on Google és contundent: aquesta eina no és un dispositiu mèdic ni un sistema de seguretat. La companyia adverteix que Guided Vision pot cometre errors i, per tant, no s'ha de fer servir per navegar pel carrer, detectar obstacles al camí o substituir la funció d'un gos guia o un bastó. El seu propòsit és lassistència visual complementària , no la guia de mobilitat segura.
Aquesta integració de la visió en temps real marca un canvi de paradigma on ja no som nosaltres qui ens adaptem a la interfície del telèfon, sinó que la IA s'adapta al nostre entorn. En combinar el reconeixement visual avançat amb una interfície de veu natural, Google converteix el mòbil en un acompanyant intel·ligent capaç de llegir, identificar i orientar l'usuari en qualsevol situació diària.