- Es ermöglicht Audiobeschreibungen in Echtzeit über die Kamera und Gemini Live.
- Dazu gehört auch die Unterstützung bei der Positionierung des Mobilgeräts und beim Stellen von Nachfragen.
- Es ist als Hilfsmittel zur Barrierefreiheit für blinde oder sehbehinderte Menschen konzipiert.
- Erfordert Android 9 oder höher und ersetzt keine herkömmlichen Mobilitätshilfen.
Stellen Sie sich vor, Sie könnten jemanden in der Tasche tragen, der Ihnen in Echtzeit beschreibt, was um Sie herum passiert. Genau das hat Google mit der Integration von Guided Vision in Gemini Live ermöglicht . Diese Funktion bricht mit der herkömmlichen Vorgehensweise, eine Frage einzutippen und auf eine Antwort zu warten. Stattdessen können wir nun mit künstlicher Intelligenz interagieren, indem wir ihr einfach die Welt durch die Kameralinse zeigen.
Dieses Tool ist mehr als nur ein statischer Fotoanalysator; es bietet eine flüssige und dynamische Kommunikation auf Basis von Computer Vision. Obwohl es enormes Potenzial für alle bietet, die Unterstützung beim Erkennen visueller Details benötigen, liegt sein Hauptzweck in der Barrierefreiheit für blinde oder sehbehinderte Menschen . Ziel ist es, die Umgebung durch präzise Audioanweisungen verständlicher und leichter handhabbar zu machen.
Wie genau funktioniert diese Technologie?
Der Vorgang ist denkbar einfach: Der Nutzer aktiviert die Funktion und sendet das Kamerasignal an Gemini Live. Die KI analysiert anschließend das Livebild, und der Nutzer kann Fragen zum Gesehenen stellen. Besonders praktisch ist die Möglichkeit, Folgefragen zu stellen . Erkennt Gemini beispielsweise ein Einmachglas, kann man direkt nach dem Verfallsdatum oder den Zutaten fragen, ohne die Anfrage erneut starten zu müssen.
Im Gegensatz zu anderen Tools kann Guided Vision die Ausrichtung des Smartphones optimieren . Ist das Gerät zu hoch, zu nah am Objekt oder leicht dezentriert, gibt der Assistent Sprachhinweise zur Korrektur der Position . So erhält die KI alle notwendigen visuellen Informationen, um Fehler in der Beschreibung zu vermeiden.
Praktische Werkzeuge für den Alltag
Die Anwendungsmöglichkeiten sind unglaublich vielfältig und decken Alltagssituationen ab, die manchmal schwierig sein können. Beispielsweise eignet sich die App ideal zum Lesen von Kleingedrucktem auf Nährwertangaben oder Beipackzetteln, das man mit bloßem Auge nicht erkennen kann. Auch beim Auffinden verlorener Gegenstände ist sie sehr hilfreich : Man kann das Smartphone im Raum bewegen und sich benachrichtigen lassen, sobald es beispielsweise einen heruntergefallenen Ohrhörer oder den Pfefferstreuer in einer Küche voller Gläser entdeckt.
Darüber hinaus dringt das Tool in subjektivere und ästhetische Bereiche vor. Guided Vision erkennt Muster, Formen und Farben . So können Sie beispielsweise fragen, ob ein gestreiftes Hemd zu einer bestimmten Hose passt oder einfach die Farbe eines Kleidungsstücks bestimmen. Es kann sogar eine allgemeine Beschreibung eines unbekannten Raumes liefern oder die Gegenstände auf einem Tisch identifizieren.
Android-Konfiguration und Kompatibilität
Am einfachsten öffnen Sie die Gemini-App, gehen zu Ihren Profileinstellungen und aktivieren die Option „Live Guided Vision“. Anschließend öffnen Sie einfach Gemini Live und teilen Ihr Kamerabild. Für noch schnelleren Zugriff bietet Google die Möglichkeit, über das Menü „Bedienungshilfen (Sehen)“ eine Verknüpfung zu erstellen . Diese lässt sich per Zwei-Finger-Geste, über die schwebende Schaltfläche oder durch gleichzeitiges Drücken beider Lautstärketasten aktivieren.
Die Funktion erfüllt die technischen Voraussetzungen und läuft reibungslos auf Geräten mit Android 9 oder höher , sofern Gemini Live in der Sprache und Region des Nutzers verfügbar ist. Sowohl das Betriebssystem als auch die Gemini-App müssen auf dem neuesten Stand sein . Darüber hinaus ist die App vollständig in Google TalkBack integriert , um Nutzern mit Sehbehinderung größtmögliche Unabhängigkeit zu ermöglichen.
Der Entwicklungsprozess und Sicherheitshinweise
Dieser Durchbruch war kein Zufall, sondern das Ergebnis enger Zusammenarbeit mit Aira, Experten für visuelle Interpretation . Um die Zuverlässigkeit des Systems zu gewährleisten, wurden Tausende Stunden realer Daten genutzt, unterstützt von über 1.000 Testern aus dem Trusted Tester Netzwerk . So konnte sichergestellt werden, dass die KI versteht, welche Informationen ein Mensch im Alltag tatsächlich benötigt.
In einem Punkt ist Google jedoch unnachgiebig: Dieses Tool ist weder ein medizinisches Gerät noch ein Sicherheitssystem. Das Unternehmen warnt davor, dass Guided Vision Fehler machen kann und daher nicht zur Navigation im Straßenverkehr, zur Hinderniserkennung oder als Ersatz für einen Blindenhund oder Blindenstock verwendet werden sollte. Es dient der ergänzenden visuellen Unterstützung und nicht der sicheren Fortbewegung.
Diese Integration von Echtzeit-Bildverarbeitung markiert einen Paradigmenwechsel: Wir passen uns nicht mehr der Benutzeroberfläche des Smartphones an, sondern die KI passt sich unserer Umgebung an. Durch die Kombination fortschrittlicher Bilderkennung mit einer natürlichen Sprachschnittstelle verwandelt Google das Mobiltelefon in einen intelligenten Begleiter, der in jeder Alltagssituation lesen, erkennen und den Nutzer führen kann.