- Permite descrieri audio în timp real prin intermediul camerei și Gemini Live.
- Include asistență pentru încadrarea dispozitivului mobil și adresarea de întrebări ulterioare.
- Este conceput ca un instrument de accesibilitate pentru persoanele nevăzătoare sau cu deficiențe de vedere.
- Necesită Android 9 sau o versiune ulterioară și nu înlocuiește dispozitivele de asistență pentru mobilitate tradiționale.
Imaginează-ți că poți purta în buzunar pe cineva care poate descrie exact ce se întâmplă în jurul tău în timp real. Ei bine, practic asta a făcut Google prin integrarea Guided Vision în Gemini Live , o funcție care rupe dinamica tradițională de a tasta o întrebare și a aștepta un răspuns, permițându-ne acum să interacționăm cu inteligența artificială pur și simplu arătându-i lumea prin obiectivul camerei.
Acest instrument nu este pur și simplu un analizator static de fotografii; oferă o conversație fluidă și dinamică bazată pe viziunea computerizată. Deși are un potențial enorm pentru oricine are nevoie de asistență cu detalii vizuale, scopul său principal este accesibilitatea pentru persoanele nevăzătoare sau cu deficiențe de vedere , având ca scop să facă mediul mult mai ușor de înțeles și de gestionat prin instrucțiuni audio precise.
Cum funcționează exact această tehnologie?
Procesul este destul de simplu: utilizatorul activează funcția și partajează semnalul camerei cu Gemini Live. De acolo, inteligența artificială analizează imaginea live, iar utilizatorul poate întreba orice despre ceea ce vede. Cea mai puternică funcție este că permite întrebări ulterioare ; adică, dacă Gemini identifică un borcan de conserve, îl puteți întreba imediat despre data de expirare sau despre ingrediente, fără a fi nevoie să reporniți interogarea.
Spre deosebire de alte instrumente, Ghided Vision poate ghida încadrarea telefonului . Dacă dispozitivul este îndreptat prea sus, prea aproape de obiect sau ușor descentrat, asistentul vă va oferi indicii verbale pentru a ajusta poziția telefonului . Acest lucru asigură că inteligența artificială are informațiile vizuale necesare pentru a evita erorile în descrierea sa.
Instrumente practice pentru viața de zi cu zi
Aplicațiile sunt incredibil de variate și abordează situații de zi cu zi care uneori pot fi dificile. De exemplu, este ideal pentru citirea literelor minuscule de pe etichetele nutriționale sau prospectele medicamentelor, acolo unde ochii tăi nu pot vedea. De asemenea, este foarte util pentru localizarea obiectelor pierdute ; poți mișca telefonul prin cameră și să-l rogi să te alerteze atunci când detectează, de exemplu, o cască căzută pe podea sau pipernița dintr-o bucătărie plină de borcane.
În plus, instrumentul explorează domenii mai subiective și estetice. Ghidul Viziunii poate recunoaște modele, forme și culori , așa că l-ați putea întreba dacă o cămașă cu dungi se potrivește cu anumiți pantaloni sau pur și simplu ați putea afla ce culoare are o piesă de îmbrăcăminte. Poate chiar oferi o descriere generală a unei camere necunoscute sau poate identifica obiectele de pe o masă.
Configurarea și compatibilitatea Android
Pentru a începe, cea mai directă modalitate este să deschideți aplicația Gemini, să accesați setările profilului și să activați opțiunea de utilizare a Viziunii Ghidate Live. După ce ați făcut acest lucru, pur și simplu deschideți Gemini Live și partajați fluxul camerei. Pentru cei care doresc un acces și mai rapid, Google a inclus opțiunea de a crea o comandă rapidă din meniul Accesibilitate (Viziune), permițându-vă să o activați cu gesturi cu două degete, butonul plutitor sau apăsând simultan ambele butoane de volum.
În ceea ce privește cerințele tehnice, funcția rulează fără probleme pe dispozitive cu Android 9 sau o versiune ulterioară , cu condiția ca Gemini Live să fie disponibil în limba și regiunea utilizatorului. Este esențial ca atât sistemul de operare, cât și aplicația Gemini să fie actualizate la cea mai recentă versiune . În plus, este complet integrată cu Google TalkBack pentru a maximiza independența utilizatorilor cu deficiențe de vedere.
Procesul de dezvoltare și avertismentele de siguranță
Această descoperire nu a fost o chestiune de întâmplare, ci mai degrabă rezultatul unei colaborări strânse cu Aira, experți în interpretare vizuală . Pentru a asigura fiabilitatea sistemului, au fost utilizate mii de ore de date din lumea reală, împreună cu sprijinul a peste 1.000 de testeri din rețeaua Trusted Tester , garantând că inteligența artificială a înțeles de ce informații are nevoie cu adevărat o persoană într-o situație de zi cu zi.
Totuși, există un punct în care Google este ferm convinsă: acest instrument nu este nici un dispozitiv medical, nici un sistem de siguranță. Compania avertizează că sistemul Guided Vision poate face greșeli și, prin urmare, nu ar trebui utilizat pentru navigarea pe străzi, detectarea obstacolelor în cale sau înlocuirea funcției unui câine-ghid sau a unui baston. Scopul său este de asistență vizuală complementară , nu de ghidare în siguranță a mobilității.
Această integrare a vederii în timp real marchează o schimbare de paradigmă în care nu ne mai adaptăm la interfața telefonului, ci mai degrabă inteligența artificială se adaptează la mediul nostru. Prin combinarea recunoașterii vizuale avansate cu o interfață vocală naturală, Google transformă telefonul mobil într-un companion inteligent capabil să citească, să identifice și să ghideze utilizatorul în orice situație cotidiană.