- Den tillater lydbeskrivelser i sanntid via kameraet og Gemini Live.
- Det inkluderer hjelp med å ramme inn den mobile enheten og stille oppfølgingsspørsmål.
- Den er utformet som et tilgjengelighetsverktøy for blinde eller svaksynte.
- Krever Android 9 eller nyere og erstatter ikke tradisjonelle mobilitetshjelpemidler.
Tenk deg å kunne bære noen i lommen som beskriver nøyaktig hva som skjer rundt deg i sanntid. Vel, det er i bunn og grunn det Google har gjort ved å integrere Guidet syn i Gemini LiveDenne funksjonaliteten bryter med den tradisjonelle dynamikken med å skrive et spørsmål og vente på et svar, og lar oss nå samhandle med kunstig intelligens ganske enkelt ved å vise den verden gjennom kameralinsen.
Dette verktøyet er ikke en enkel statisk fotoanalysator, men foreslår snarere en flytende og dynamisk samtale basert på datasyn. Selv om det har et enormt potensial for alle som trenger hjelp med visuelle detaljer, er dets hjerte og raison d'être tilgjengelighet for blinde eller med redusert syn, som søker å gjøre omgivelsene mye mer forståelige og håndterbare gjennom presise lydinstruksjoner.
Hvordan fungerer egentlig denne teknologien?
Prosessen er ganske enkel: brukeren aktiverer funksjonen og del kamerasignalet med Gemini Live. Derfra analyserer AI-en livebildet, og brukeren kan spørre hva som helst om det de ser. Den kraftigste funksjonen er at den lar deg gjøre oppfølgings spørsmålMed andre ord, hvis Gemini identifiserer en boks med syltetøy, kan du umiddelbart spørre den hva utløpsdatoen er eller hvilke ingredienser den inneholder uten å måtte starte spørringen på nytt.
I motsetning til andre verktøy er Guided Vision i stand til veilede mobiltelefonens innrammingHvis enheten peker for høyt, for nær objektet eller litt utenfor sentrum, vil assistenten gi deg muntlige instruksjoner om å korrigere det. juster telefonens posisjonDette sikrer at AI-en har den nødvendige visuelle informasjonen for å unngå å gjøre feil i beskrivelsen.
Praktiske verktøy for hverdagen
Bruksområdene er utrolig varierte og berører hverdagslige problemstillinger som vi noen ganger synes er utfordrende. For eksempel er det ideelt for lese små bokstaver på ernæringsetiketter eller pakningsvedlegg for medisiner der det ikke er lett synlig. Det er også veldig nyttig for finne tapte gjenstanderDu kan flytte telefonen rundt i rommet og be den om å varsle deg når den for eksempel oppdager en øretelefon som har falt på gulvet eller pepperbøssen på et kjøkken fullt av krukker.
Videre dykker verktøyet inn i mer subjektivt og estetisk territorium. Guidet syn kan gjenkjenne mønstre, former og fargerSå du kan spørre henne om en stripete skjorte passer til spesifikke bukser, eller rett og slett finne ut hvilken farge et plagg har. Hun kan til og med gjøre en generell beskrivelse av et opphold ukjent eller detaljert informasjon om hvilke ting som ligger på et bord.
Android-konfigurasjon og kompatibilitet
For å komme i gang er den mest direkte måten å åpne Gemini-appen, gå til profilinnstillinger og velg alternativet for å bruke veiledet syn live. Når dette er gjort, åpner du bare Gemini Live og deler kameraet. For de som ønsker mer fart, har Google inkludert muligheten til å opprette en direkte tilgang fra Tilgjengelighetsmenyen (Visuell assistanse), slik at den kan aktiveres med tofingerbevegelser, den flytende knappen eller ved å trykke på begge volumknappene samtidig.
Når det gjelder de tekniske kravene, kjører funksjonen problemfritt på enheter med Android 9 eller nyere versjonerforutsatt at Gemini Live er tilgjengelig på brukerens språk og region. Det er viktig å ha både operativsystemet og Gemini-applikasjonen. oppdatert til siste versjonVidere er den fullstendig integrert med Google TalkBack for å maksimere autonomien til brukere med synshemminger.
Utviklingsprosessen og sikkerhetsadvarsler
Denne fremgangen har ikke vært et resultat av tilfeldigheter, men et tett samarbeid med Aira, eksperter på visuell tolkningFor å sikre at systemet var virkelig pålitelig, ble tusenvis av timer med reelle data og støtte fra mer enn 1.000 testere fra nettverket for betrodde testeresørge for at AI-en forstår hvilken informasjon en person virkelig trenger i en hverdagssituasjon.
Det er imidlertid ett punkt hvor Google er ubøyelig: dette verktøyet det er ikke et medisinsk utstyr heller ikke et sikkerhetssystem. Selskapet advarer om at Guided Vision kan gjøre feil og derfor Den skal ikke brukes til navigasjon. på gaten, oppdage hindringer i veien, eller erstatte funksjonen til en førerhund eller en stokk. Hensikten er å tilleggsvisuell assistanseikke guiden for sikker mobilitet.
Denne integreringen av sanntidsvisjon markerer et paradigmeskifte der vi ikke lenger tilpasser oss telefonens grensesnitt, men at kunstig intelligens tilpasser seg miljøet vårt. Ved å kombinere avansert visuell gjenkjenning med et naturlig stemmegrensesnitt, forvandler Google mobiltelefonen til en intelligent følgesvenn i stand til å lese, identifisere og veilede brukeren i enhver daglig situasjon.