- Het maakt realtime audiobeschrijvingen mogelijk via de camera en Gemini Live.
- Dit omvat hulp bij het positioneren van het mobiele apparaat en het stellen van vervolgvragen.
- Het is ontworpen als hulpmiddel voor toegankelijkheid voor blinden en slechtzienden.
- Vereist Android 9 of hoger en vervangt geen traditionele mobiliteitshulpmiddelen.
Stel je voor dat je iemand in je zak kunt dragen die in realtime precies kan beschrijven wat er om je heen gebeurt. Dat is in feite wat Google heeft gedaan door Guided Vision te integreren in Gemini Live . Deze functie breekt met de traditionele manier van vragen typen en wachten op een antwoord, waardoor we nu met kunstmatige intelligentie kunnen communiceren door simpelweg de wereld door de cameralens te laten zien.
Deze tool is niet zomaar een statische foto-analysator; het biedt een vloeiend en dynamisch gesprek op basis van computervisie. Hoewel het een enorm potentieel heeft voor iedereen die hulp nodig heeft bij visuele details, is het belangrijkste doel toegankelijkheid voor blinden en slechtzienden . Het streeft ernaar de omgeving veel begrijpelijker en beter beheersbaar te maken door middel van nauwkeurige audio-instructies.
Hoe werkt deze technologie precies?
Het proces is vrij eenvoudig: de gebruiker activeert de functie en deelt het camerasignaal met Gemini Live. Vervolgens analyseert de AI het livebeeld en kan de gebruiker vragen stellen over wat hij of zij ziet. De krachtigste functie is de mogelijkheid om vervolgvragen te stellen ; als Gemini bijvoorbeeld een pot jam of conserven detecteert, kun je direct vragen naar de houdbaarheidsdatum of de ingrediënten zonder de zoekopdracht opnieuw te hoeven starten.
In tegenstelling tot andere tools kan Guided Vision de kadrering van de telefoon sturen . Als het apparaat te hoog, te dicht bij het object of iets uit het midden is gericht, geeft de assistent gesproken aanwijzingen om de positie van de telefoon aan te passen . Dit zorgt ervoor dat de AI over de nodige visuele informatie beschikt om fouten in de beschrijving te voorkomen.
Praktische hulpmiddelen voor het dagelijks leven
De toepassingen zijn ongelooflijk gevarieerd en richten zich op alledaagse situaties die soms lastig kunnen zijn. Het is bijvoorbeeld ideaal voor het lezen van kleine lettertjes op voedingsetiketten of bijsluiters van medicijnen, waar je ogen ze niet kunnen zien. Het is ook erg handig om verloren voorwerpen terug te vinden ; je kunt je telefoon door de kamer bewegen en hem een melding laten geven wanneer hij bijvoorbeeld een oordopje detecteert dat op de grond is gevallen of de pepermolen in een keuken vol potjes.
Bovendien verkent de tool meer subjectieve en esthetische gebieden. Guided Vision kan patronen, vormen en kleuren herkennen, waardoor je bijvoorbeeld kunt vragen of een gestreept shirt goed combineert met een bepaalde broek, of simpelweg de kleur van een kledingstuk kunt achterhalen. Het kan zelfs een algemene beschrijving geven van een onbekende ruimte of de voorwerpen op een tafel identificeren.
Android-configuratie en -compatibiliteit
Om te beginnen, is de meest directe manier om de Gemini-app te openen, naar je profielinstellingen te gaan en de optie 'Live Guided Vision' in te schakelen . Zodra je dit hebt gedaan, open je Gemini Live en deel je je camerabeeld. Voor wie nog sneller toegang wil, heeft Google de mogelijkheid toegevoegd om een snelkoppeling te maken vanuit het menu 'Toegankelijkheid (Visie)', waarmee je de functie kunt activeren met een gebaar met twee vingers, de zwevende knop of door beide volumeknoppen tegelijk in te drukken.
Wat de technische vereisten betreft, werkt de functie probleemloos op apparaten met Android 9 of hoger , mits Gemini Live beschikbaar is in de taal en regio van de gebruiker. Het is essentieel dat zowel het besturingssysteem als de Gemini-app zijn bijgewerkt naar de nieuwste versie . Bovendien is de functie volledig geïntegreerd met Google TalkBack om de zelfstandigheid van gebruikers met een visuele beperking te maximaliseren.
Het ontwikkelingsproces en veiligheidswaarschuwingen
Deze doorbraak was geen toeval, maar het resultaat van een nauwe samenwerking met Aira, experts in visuele interpretatie . Om de betrouwbaarheid van het systeem te garanderen, werden duizenden uren aan praktijkgegevens gebruikt, samen met de ondersteuning van meer dan 1.000 testers uit het Trusted Tester-netwerk . Dit garandeerde dat de AI begreep welke informatie een persoon daadwerkelijk nodig heeft in een alledaagse situatie.
Er is echter één punt waar Google stellig in is: deze tool is geen medisch hulpmiddel en ook geen veiligheidssysteem. Het bedrijf waarschuwt dat Guided Vision fouten kan maken en daarom niet gebruikt mag worden voor het navigeren door straten, het detecteren van obstakels op het pad of ter vervanging van de functie van een blindengeleidehond of -stok. Het doel is aanvullende visuele ondersteuning , niet veilige mobiliteitsbegeleiding.
Deze integratie van realtime beeldherkenning markeert een paradigmaverschuiving waarbij we ons niet langer aanpassen aan de interface van de telefoon, maar AI zich aanpast aan onze omgeving. Door geavanceerde beeldherkenning te combineren met een natuurlijke spraakinterface, transformeert Google de mobiele telefoon in een intelligente metgezel die de gebruiker in elke alledaagse situatie kan lezen, identificeren en begeleiden.