- Consente descrizioni audio in tempo reale tramite la telecamera e Gemini Live.
- Comprende assistenza nell'inquadratura del dispositivo mobile e nella formulazione di domande di approfondimento.
- È stato concepito come strumento di accessibilità per persone non vedenti o ipovedenti.
- Richiede Android 9 o versioni successive e non sostituisce i tradizionali ausili per la mobilità.
Immaginate di poter portare in tasca qualcuno in grado di descrivere esattamente ciò che accade intorno a voi in tempo reale. Bene, è fondamentalmente ciò che Google ha fatto integrando Guided Vision in Gemini Live , una funzionalità che rompe con la dinamica tradizionale di digitare una domanda e attendere una risposta, consentendoci ora di interagire con l'intelligenza artificiale semplicemente mostrandole il mondo attraverso l'obiettivo della fotocamera.
Questo strumento non è un semplice analizzatore di foto statiche; offre una conversazione fluida e dinamica basata sulla visione artificiale. Pur avendo un enorme potenziale per chiunque necessiti di assistenza per i dettagli visivi, il suo scopo principale è l'accessibilità per le persone non vedenti o ipovedenti , con l'obiettivo di rendere l'ambiente molto più comprensibile e gestibile attraverso precise istruzioni audio.
Come funziona esattamente questa tecnologia?
Il processo è piuttosto semplice: l'utente attiva la funzione e condivide il segnale della telecamera con Gemini Live. A quel punto, l'intelligenza artificiale analizza l'immagine in diretta e l'utente può porre qualsiasi domanda su ciò che sta vedendo. La funzione più potente è la possibilità di porre domande di approfondimento ; ovvero, se Gemini identifica un barattolo di conserve, è possibile chiedere immediatamente la data di scadenza o gli ingredienti senza dover ricominciare la ricerca.
A differenza di altri strumenti, Guided Vision è in grado di guidare l'inquadratura del telefono . Se il dispositivo è puntato troppo in alto, troppo vicino all'oggetto o leggermente decentrato, l'assistente fornirà indicazioni vocali per correggere la posizione del telefono . Ciò garantisce che l'IA disponga delle informazioni visive necessarie per evitare errori nella descrizione.
Strumenti pratici per la vita quotidiana
Le applicazioni sono incredibilmente varie e riguardano situazioni quotidiane che a volte possono risultare complesse. Ad esempio, è ideale per leggere caratteri minuscoli sulle etichette nutrizionali o sui foglietti illustrativi dei farmaci, quando la vista non è sufficiente. È anche molto utile per ritrovare oggetti smarriti : basta muovere il telefono per la stanza e chiedere di essere avvisati quando rileva, ad esempio, un auricolare caduto a terra o la saliera in una cucina piena di barattoli.
Inoltre, lo strumento si addentra in ambiti più soggettivi ed estetici. Guided Vision è in grado di riconoscere motivi, forme e colori , quindi si potrebbe chiedergli se una camicia a righe si abbina bene a determinati pantaloni o semplicemente scoprire di che colore è un capo d'abbigliamento. Può persino fornire una descrizione generale di una stanza sconosciuta o identificare gli oggetti su un tavolo.
Configurazione e compatibilità Android
Per iniziare, il modo più diretto è aprire l'app Gemini, andare alle impostazioni del profilo e abilitare l'opzione per utilizzare Visione Guidata in diretta. Fatto ciò, basta aprire Gemini Live e condividere il flusso video della fotocamera. Per chi desidera un accesso ancora più rapido, Google ha incluso la possibilità di creare una scorciatoia dal menu Accessibilità (Visione), che consente di attivarla con gesti a due dita, il pulsante mobile o premendo contemporaneamente entrambi i pulsanti del volume.
Per quanto riguarda i requisiti tecnici, la funzionalità funziona senza problemi su dispositivi con Android 9 o versioni successive , a condizione che Gemini Live sia disponibile nella lingua e nella regione dell'utente. È fondamentale che sia il sistema operativo che l'app Gemini siano aggiornati all'ultima versione . Inoltre, è completamente integrata con Google TalkBack per massimizzare l'autonomia degli utenti con disabilità visive.
Il processo di sviluppo e le avvertenze di sicurezza
Questa svolta non è stata frutto del caso, bensì il risultato di una stretta collaborazione con Aira, azienda specializzata nell'interpretazione visiva . Per garantire l'affidabilità del sistema, sono state utilizzate migliaia di ore di dati reali, con il supporto di oltre 1.000 tester della rete Trusted Tester , a garanzia che l'intelligenza artificiale comprendesse appieno le informazioni di cui una persona ha realmente bisogno nella vita di tutti i giorni.
Tuttavia, Google è categorica su un punto: questo strumento non è né un dispositivo medico né un sistema di sicurezza. L'azienda avverte che Guided Vision può commettere errori e, pertanto, non deve essere utilizzato per orientarsi in strada, rilevare ostacoli sul percorso o sostituire la funzione di un cane guida o di un bastone. Il suo scopo è quello di fornire un supporto visivo complementare , non di guidare in sicurezza nella mobilità.
Questa integrazione della visione in tempo reale segna un cambio di paradigma: non siamo più noi ad adattarci all'interfaccia del telefono, ma è l'intelligenza artificiale ad adattarsi al nostro ambiente. Combinando il riconoscimento visivo avanzato con un'interfaccia vocale naturale, Google trasforma il telefono cellulare in un compagno intelligente in grado di leggere, identificare e guidare l'utente in qualsiasi situazione quotidiana.