- Det muliggør lydbeskrivelser i realtid via kameraet og Gemini Live.
- Det omfatter hjælp til at indramme den mobile enhed og stille opfølgende spørgsmål.
- Det er designet som et tilgængelighedsværktøj for blinde eller synshandicappede.
- Kræver Android 9 eller nyere og erstatter ikke traditionelle mobilitetshjælpemidler.
Forestil dig at kunne bære en person i lommen, der kan beskrive præcis, hvad der sker omkring dig i realtid. Det er dybest set, hvad Google har gjort ved at integrere Guided Vision i Gemini Live , en funktion, der bryder med den traditionelle dynamik med at skrive et spørgsmål og vente på et svar, og som nu giver os mulighed for at interagere med kunstig intelligens blot ved at vise den verden gennem kameralinsen.
Dette værktøj er ikke blot en statisk fotoanalysator; det tilbyder en flydende og dynamisk samtale baseret på computervision. Selvom det har et enormt potentiale for alle, der har brug for hjælp til visuelle detaljer, er dets kerneformål tilgængelighed for blinde eller synshandicappede personer med det formål at gøre miljøet meget mere forståeligt og håndterbart gennem præcise lydinstruktioner.
Hvordan fungerer denne teknologi præcist?
Processen er ret simpel: brugeren aktiverer funktionen og deler kameraets signal med Gemini Live. Derfra analyserer AI'en livebilledet, og brugeren kan spørge om hvad som helst om det, de ser. Den mest kraftfulde funktion er, at den tillader opfølgende spørgsmål ; det vil sige, at hvis Gemini identificerer et glas marmelade, kan du straks spørge om udløbsdatoen eller ingredienserne uden at skulle genstarte forespørgslen.
I modsætning til andre værktøjer kan Guided Vision styre telefonens placering . Hvis enheden peger for højt, for tæt på objektet eller en smule ude af centret, giver assistenten dig verbale signaler til at justere telefonens position . Dette sikrer, at AI'en har den nødvendige visuelle information til at undgå fejl i dens beskrivelse.
Praktiske værktøjer til hverdagen
Applikationerne er utroligt varierede og adresserer hverdagssituationer, der til tider kan være udfordrende. For eksempel er den ideel til at læse små bogstaver på ernæringsetiketter eller medicinindlægssedler, hvor dine øjne ikke kan se. Den er også meget nyttig til at finde mistede genstande ; du kan bevæge din telefon rundt i rummet og bede den om at advare dig, når den f.eks. registrerer en øreprop, der er faldet på gulvet, eller peberbøssen i et køkken fyldt med krukker.
Derudover dykker værktøjet ned i mere subjektive og æstetiske områder. Guided Vision kan genkende mønstre, former og farver , så du kan spørge den, om en stribet skjorte passer til bestemte bukser, eller blot finde ud af, hvilken farve et beklædningsgenstand har. Den kan endda give en generel beskrivelse af et ukendt rum eller identificere genstandene på et bord.
Android-konfiguration og kompatibilitet
For at komme i gang er den mest direkte måde at åbne Gemini-appen, gå til dine profilindstillinger og aktivere muligheden for at bruge Live Guided Vision. Når du har gjort dette, skal du blot åbne Gemini Live og dele dit kamerafeed. For dem, der leder efter endnu hurtigere adgang, har Google inkluderet muligheden for at oprette en genvej fra Tilgængelighedsmenuen (Vision), så du kan aktivere den med tofingerbevægelser, den flydende knap eller ved at trykke på begge lydstyrkeknapper samtidigt.
Hvad angår tekniske krav, kører funktionen problemfrit på enheder med Android 9 eller nyere , forudsat at Gemini Live er tilgængelig på brugerens sprog og region. Det er vigtigt at have både operativsystemet og Gemini-appen opdateret til den nyeste version . Derudover er den fuldt integreret med Google TalkBack for at maksimere uafhængigheden for brugere med synshandicap.
Udviklingsprocessen og sikkerhedsadvarsler
Dette gennembrud var ikke et tilfælde, men snarere resultatet af et tæt samarbejde med Aira, eksperter i visuel fortolkning . For at sikre systemets pålidelighed blev tusindvis af timers data fra den virkelige verden anvendt, sammen med støtte fra over 1.000 testere fra Trusted Tester-netværket , hvilket garanterede, at AI'en forstod, hvilke oplysninger en person virkelig har brug for i en hverdagssituation.
Der er dog ét punkt, hvor Google er ubøjelig: dette værktøj er hverken et medicinsk udstyr eller et sikkerhedssystem. Virksomheden advarer om, at Guided Vision kan lave fejl og derfor ikke bør bruges til at navigere på gader, opdage forhindringer på stien eller erstatte funktionen af en førerhund eller stok. Dets formål er supplerende visuel assistance , ikke sikker mobilitetsvejledning.
Denne integration af realtidsvision markerer et paradigmeskift, hvor vi ikke længere tilpasser os telefonens brugerflade, men snarere tilpasser AI sig vores omgivelser. Ved at kombinere avanceret visuel genkendelse med en naturlig stemmegrænseflade forvandler Google mobiltelefonen til en intelligent ledsager, der er i stand til at læse, identificere og guide brugeren i enhver hverdagssituation.