- Den möjliggör ljudbeskrivningar i realtid via kameran och Gemini Live.
- Det inkluderar hjälp med att utforma den mobila enheten och att ställa följdfrågor.
- Den är utformad som ett tillgänglighetsverktyg för blinda eller synskadade.
- Kräver Android 9 eller senare och ersätter inte traditionella mobilitetshjälpmedel.
Tänk dig att kunna bära någon i fickan som kan beskriva exakt vad som händer runt omkring dig i realtid. Det är i princip vad Google har gjort genom att integrera Guided Vision i Gemini Live , en funktion som bryter med den traditionella dynamiken att skriva en fråga och vänta på ett svar, och nu låter oss interagera med artificiell intelligens genom att helt enkelt visa den världen genom kameralinsen.
Det här verktyget är inte bara en statisk fotoanalysator; det erbjuder en flytande och dynamisk konversation baserad på datorseende. Även om det har enorm potential för alla som behöver hjälp med visuella detaljer, är dess huvudsyfte tillgänglighet för blinda eller synskadade personer , med målet att göra miljön mycket mer begriplig och hanterbar genom exakta ljudinstruktioner.
Hur fungerar den här tekniken egentligen?
Processen är ganska enkel: användaren aktiverar funktionen och delar kamerans signal med Gemini Live. Därifrån analyserar AI:n livebilden, och användaren kan fråga vad som helst om vad de ser. Den kraftfullaste funktionen är att den tillåter följdfrågor ; det vill säga, om Gemini identifierar en burk med marmelad kan du omedelbart fråga om utgångsdatum eller ingredienser utan att behöva starta om frågan.
Till skillnad från andra verktyg kan Guided Vision styra telefonens positionering . Om enheten pekar för högt, för nära objektet eller något utanför mitten, kommer assistenten att ge dig verbala signaler för att justera telefonens position . Detta säkerställer att AI:n har den visuella information som behövs för att undvika fel i sin beskrivning.
Praktiska verktyg för vardagen
Applikationerna är otroligt varierade och hanterar vardagliga situationer som ibland kan vara utmanande. Till exempel är den idealisk för att läsa liten text på näringsetiketter eller läkemedelsblad där dina ögon inte kan se. Den är också mycket användbar för att hitta borttappade föremål ; du kan flytta din telefon runt i rummet och be den att varna dig när den upptäcker till exempel en hörlur som har fallit på golvet eller pepparkarn i ett kök fullt av burkar.
Dessutom fördjupar sig verktyget i mer subjektiva och estetiska områden. Guided Vision kan känna igen mönster, former och färger , så du kan fråga om en randig skjorta passar bra till specifika byxor eller helt enkelt ta reda på vilken färg ett plagg har. Det kan till och med ge en allmän beskrivning av ett okänt rum eller identifiera föremålen på ett bord.
Android-konfiguration och kompatibilitet
För att komma igång är det enklast att öppna Gemini-appen, gå till dina profilinställningar och aktivera alternativet att använda Live Guided Vision. När du har gjort detta öppnar du bara Gemini Live och delar ditt kameraflöde. För de som letar efter ännu snabbare åtkomst har Google inkluderat alternativet att skapa en genväg från Tillgänglighetsmenyn (Vision), så att du kan aktivera den med tvåfingersgester, den flytande knappen eller genom att trycka på båda volymknapparna samtidigt.
När det gäller tekniska krav fungerar funktionen smidigt på enheter med Android 9 eller senare , förutsatt att Gemini Live är tillgängligt på användarens språk och region. Det är viktigt att både operativsystemet och Gemini-appen är uppdaterade till den senaste versionen . Dessutom är den helt integrerad med Google TalkBack för att maximera oberoendet för användare med synnedsättningar.
Utvecklingsprocessen och säkerhetsvarningar
Detta genombrott var inte en slump, utan snarare resultatet av ett nära samarbete med Aira, experter på visuell tolkning . För att säkerställa systemets tillförlitlighet användes tusentals timmar verklighetsdata, tillsammans med stöd av över 1 000 testare från Trusted Tester-nätverket , vilket garanterade att AI:n förstod vilken information en person verkligen behöver i en vardagssituation.
Det finns dock en punkt där Google är orubblig: det här verktyget är varken en medicinteknisk produkt eller ett säkerhetssystem. Företaget varnar för att Guided Vision kan göra misstag och därför inte bör användas för att navigera på gator, upptäcka hinder i vägen eller ersätta funktionen hos en ledarhund eller käpp. Dess syfte är kompletterande visuell assistans , inte säker mobilitetsvägledning.
Denna integration av realtidsvision markerar ett paradigmskifte där vi inte längre anpassar oss till telefonens gränssnitt, utan AI anpassar sig till vår omgivning. Genom att kombinera avancerad visuell igenkänning med ett naturligt röstgränssnitt förvandlar Google mobiltelefonen till en intelligent följeslagare som kan läsa, identifiera och vägleda användaren i alla vardagliga situationer.