- Het maakt realtime audiobeschrijvingen mogelijk via de camera en Gemini Live.
- Dit omvat hulp bij het positioneren van het mobiele apparaat en het stellen van vervolgvragen.
- Het is ontworpen als hulpmiddel voor toegankelijkheid voor blinden en slechtzienden.
- Vereist Android 9 of hoger en vervangt geen traditionele mobiliteitshulpmiddelen.
Stel je voor dat je iemand in je zak kunt dragen die in realtime precies beschrijft wat er om je heen gebeurt. Dat is in principe wat Google heeft gedaan door de integratie van... Begeleide visie binnen Gemini LiveDeze functionaliteit breekt met de traditionele dynamiek van het stellen van een vraag en het wachten op een antwoord, en stelt ons nu in staat om met kunstmatige intelligentie te communiceren door simpelweg de wereld door de cameralens te laten zien.
Deze tool is geen eenvoudige statische foto-analysator, maar biedt een andere aanpak. Vloeiend en dynamisch gesprek gebaseerd op computervisie. Hoewel het een enorm potentieel heeft voor iedereen die hulp nodig heeft met visuele details, is de kern en bestaansreden ervan de toegankelijkheid voor blinden of mensen met een verminderd gezichtsvermogen, die de omgeving veel begrijpelijker en beter beheersbaar willen maken door middel van nauwkeurige audio-instructies.
Hoe werkt deze technologie precies?
Het proces is vrij eenvoudig: de gebruiker activeert de functie en deel het camerasignaal met Gemini Live. Van daaruit analyseert de AI het livebeeld en kan de gebruiker alles vragen over wat hij of zij ziet. De krachtigste functie is dat het je in staat stelt om... vervolg vragenMet andere woorden, als Gemini een blikje jam of conserven herkent, kun je direct vragen naar de houdbaarheidsdatum of de ingrediënten, zonder de zoekopdracht opnieuw te hoeven starten.
In tegenstelling tot andere tools is Guided Vision in staat tot: stuur de kadering van de mobiele telefoonAls het apparaat te hoog, te dicht bij het object of iets uit het midden gericht is, zal de assistent u mondelinge aanwijzingen geven om dit te corrigeren. de positie van de telefoon aanpassenDit zorgt ervoor dat de AI over de nodige visuele informatie beschikt om fouten in de beschrijving te voorkomen.
Praktische hulpmiddelen voor het dagelijks leven
De toepassingen zijn ongelooflijk gevarieerd en raken aan alledaagse problemen die we soms lastig vinden. Het is bijvoorbeeld ideaal voor lees kleine letters Op voedingsetiketten of bijsluiters van medicijnen, waar het niet direct zichtbaar is. Het is ook erg handig voor Verloren voorwerpen terugvindenJe kunt de telefoon door de kamer bewegen en hem zo instellen dat hij je waarschuwt wanneer hij bijvoorbeeld een oortje detecteert dat op de grond is gevallen, of de pepermolen in een keuken vol potjes.
Bovendien verkent de tool meer subjectieve en esthetische gebieden. Guided Vision kan herkennen patronen, vormen en kleurenJe zou haar dus kunnen vragen of een gestreept shirt goed staat bij een bepaalde broek, of gewoon uitzoeken welke kleur een kledingstuk heeft. Ze kan zelfs een algemene beschrijving van een verblijf Het is onbekend of er wordt niet gespecificeerd welke voorwerpen er op de tafel liggen.
Android-configuratie en -compatibiliteit
Om te beginnen is de meest directe manier om de Gemini-app te openen, naar profielinstellingen te gaan en Selecteer de optie om geleide visie te gebruiken. live. Zodra dit is gedaan, open je Gemini Live en deel je de camera. Voor wie meer snelheid wil, heeft Google de optie toegevoegd om een directe toegang via het toegankelijkheidsmenu (Visuele ondersteuning), waardoor het geactiveerd kan worden met gebaren met twee vingers, de zwevende knop of door beide volumeknoppen tegelijk in te drukken.
Wat de technische vereisten betreft, werkt de functie probleemloos op apparaten met Android 9 of latere versiesMits Gemini Live beschikbaar is in de taal en regio van de gebruiker. Het is essentieel om zowel het besturingssysteem als de Gemini-applicatie te hebben. bijgewerkt naar de nieuwste versieBovendien is het volledig geïntegreerd met Google TalkBack om de autonomie van gebruikers met een visuele beperking te maximaliseren.
Het ontwikkelingsproces en veiligheidswaarschuwingen
Deze vooruitgang is niet het resultaat van toeval, maar van nauwe samenwerking met Aira, experts in visuele interpretatieOm de werkelijke betrouwbaarheid van het systeem te garanderen, werden duizenden uren aan praktijkgegevens verzameld en werd de steun verkregen van meer dan 1.000 testers uit het Trusted Tester-netwerkervoor zorgen dat de AI begrijpt welke informatie een persoon daadwerkelijk nodig heeft in een alledaagse situatie.
Er is echter één punt waar Google onvermurwbaar over is: deze tool. het is geen medisch hulpmiddel noch een beveiligingssysteem. Het bedrijf waarschuwt dat Guided Vision fouten kan maken en daarom... Het is niet bedoeld voor navigatie. Op straat obstakels opsporen of de functie van een blindengeleidehond of een wandelstok vervangen. Het doel ervan is... aanvullende visuele ondersteuningDit is niet de veilige mobiliteitsgids.
Deze integratie van realtime beeldherkenning markeert een paradigmaverschuiving waarbij we ons niet langer aanpassen aan de interface van de telefoon, maar AI zich aanpast aan onze omgeving. Door geavanceerde beeldherkenning te combineren met een natuurlijke spraakinterface, transformeert Google de mobiele telefoon in een intelligente metgezel In staat om de gebruiker in elke dagelijkse situatie te lezen, te identificeren en te begeleiden.