- Den tillater lydbeskrivelser i sanntid via kameraet og Gemini Live.
- Det inkluderer hjelp med å ramme inn den mobile enheten og stille oppfølgingsspørsmål.
- Den er utformet som et tilgjengelighetsverktøy for blinde eller svaksynte.
- Krever Android 9 eller nyere og erstatter ikke tradisjonelle mobilitetshjelpemidler.
Tenk deg å kunne bære noen i lommen som kan beskrive nøyaktig hva som skjer rundt deg i sanntid. Vel, det er i bunn og grunn det Google har gjort ved å integrere Guided Vision i Gemini Live , en funksjon som bryter med den tradisjonelle dynamikken med å skrive et spørsmål og vente på et svar, og som nå lar oss samhandle med kunstig intelligens ganske enkelt ved å vise den verden gjennom kameralinsen.
Dette verktøyet er ikke bare en statisk fotoanalysator; det tilbyr en flytende og dynamisk samtale basert på datasyn. Selv om det har et enormt potensial for alle som trenger hjelp med visuelle detaljer, er kjerneformålet tilgjengelighet for blinde eller svaksynte , med mål om å gjøre miljøet mye mer forståelig og håndterbart gjennom presise lydinstruksjoner.
Hvordan fungerer egentlig denne teknologien?
Prosessen er ganske enkel: brukeren aktiverer funksjonen og deler kameraets signal med Gemini Live. Derfra analyserer AI-en livebildet, og brukeren kan spørre om hva som helst om det de ser. Den kraftigste funksjonen er at den tillater oppfølgingsspørsmål ; det vil si at hvis Gemini identifiserer et glass med marmelade, kan du umiddelbart spørre om utløpsdatoen eller ingrediensene uten å måtte starte spørringen på nytt.
I motsetning til andre verktøy kan Guided Vision veilede telefonens posisjonering . Hvis enheten peker for høyt, for nær objektet eller litt utenfor sentrum, vil assistenten gi deg verbale signaler for å justere telefonens posisjon . Dette sikrer at AI-en har den nødvendige visuelle informasjonen for å unngå feil i beskrivelsen.
Praktiske verktøy for hverdagen
Bruksområdene er utrolig varierte og dekker hverdagssituasjoner som noen ganger kan være utfordrende. For eksempel er den ideell for å lese liten skrift på ernæringsetiketter eller medisinbrosjyrer der øynene dine ikke kan se. Den er også veldig nyttig for å finne mistede gjenstander ; du kan bevege telefonen rundt i rommet og be den om å varsle deg når den for eksempel oppdager en ørepropp som har falt på gulvet eller pepperbøssen på et kjøkken fullt av krukker.
Videre dykker verktøyet inn i mer subjektive og estetiske områder. Guidet syn kan gjenkjenne mønstre, former og farger , slik at du kan spørre den om en stripete skjorte passer til bestemte bukser eller bare finne ut hvilken farge et klesplagg har. Den kan til og med gi en generell beskrivelse av et ukjent rom eller identifisere gjenstandene på et bord.
Android-konfigurasjon og kompatibilitet
For å komme i gang er den mest direkte måten å åpne Gemini-appen, gå til profilinnstillingene dine og aktivere alternativet for å bruke Live Guided Vision. Når du har gjort dette, åpner du bare Gemini Live og deler kamerafeeden din. For de som ønsker enda raskere tilgang, har Google inkludert alternativet for å opprette en snarvei fra Tilgjengelighetsmenyen (Syn), slik at du kan aktivere den med tofingerbevegelser, den flytende knappen eller ved å trykke på begge volumknappene samtidig.
Når det gjelder tekniske krav, kjører funksjonen problemfritt på enheter med Android 9 eller nyere , forutsatt at Gemini Live er tilgjengelig på brukerens språk og region. Det er viktig å ha både operativsystemet og Gemini-appen oppdatert til den nyeste versjonen . Videre er den fullt integrert med Google TalkBack for å maksimere uavhengigheten for brukere med synshemming.
Utviklingsprosessen og sikkerhetsadvarsler
Dette gjennombruddet var ikke en tilfeldighet, men snarere et resultat av et tett samarbeid med Aira, eksperter på visuell tolkning . For å sikre systemets pålitelighet ble tusenvis av timer med reelle data brukt, sammen med støtte fra over 1.000 testere fra Trusted Tester-nettverket , noe som garanterte at AI-en forsto hvilken informasjon en person virkelig trenger i en hverdagssituasjon.
Det er imidlertid ett punkt hvor Google er ubøyelig: dette verktøyet er verken et medisinsk utstyr eller et sikkerhetssystem. Selskapet advarer om at Guided Vision kan gjøre feil og derfor ikke bør brukes til å navigere i gater, oppdage hindringer i veien eller erstatte funksjonen til en førerhund eller stokk. Formålet er komplementær visuell assistanse , ikke veiledning om sikker mobilitet.
Denne integreringen av sanntidsvisjon markerer et paradigmeskifte der vi ikke lenger tilpasser oss telefonens grensesnitt, men at kunstig intelligens tilpasser seg omgivelsene våre. Ved å kombinere avansert visuell gjenkjenning med et naturlig stemmegrensesnitt, forvandler Google mobiltelefonen til en intelligent følgesvenn som er i stand til å lese, identifisere og veilede brukeren i enhver hverdagssituasjon.