- Es ermöglicht Audiobeschreibungen in Echtzeit über die Kamera und Gemini Live.
- Dazu gehört auch die Unterstützung bei der Positionierung des Mobilgeräts und beim Stellen von Nachfragen.
- Es ist als Hilfsmittel zur Barrierefreiheit für blinde oder sehbehinderte Menschen konzipiert.
- Erfordert Android 9 oder höher und ersetzt keine herkömmlichen Mobilitätshilfen.
Stellen Sie sich vor, Sie könnten jemanden in der Hosentasche mit sich führen, der Ihnen in Echtzeit beschreibt, was um Sie herum passiert. Genau das hat Google im Prinzip mit der Integration von … erreicht. Geführte Visionen in Gemini LiveDiese Funktionalität bricht mit der traditionellen Vorgehensweise, eine Frage zu stellen und auf eine Antwort zu warten, und erlaubt uns nun, mit künstlicher Intelligenz zu interagieren, indem wir ihr einfach die Welt durch die Kameralinse zeigen.
Dieses Tool ist kein einfacher statischer Fotoanalysator, sondern schlägt vielmehr einen fließende und dynamische Konversation basiert auf Computer Vision. Obwohl es ein enormes Potenzial für jeden bietet, der Hilfe bei visuellen Details benötigt, ist sein Herzstück und seine Daseinsberechtigung die Barrierefreiheit für blinde Menschen oder bei eingeschränktem Sehvermögen, um die Umgebung durch präzise Audioanweisungen verständlicher und besser handhabbar zu machen.
Wie genau funktioniert diese Technologie?
Der Vorgang ist recht einfach: Der Benutzer aktiviert die Funktion und Kamerasignal teilen mit Gemini Live. Die KI analysiert das Live-Bild, und der Nutzer kann Fragen zu dem Gesehenen stellen. Die wichtigste Funktion ist, dass sie Folgendes ermöglicht: AnschlussfragenMit anderen Worten: Wenn Gemini eine Dose Konfitüre erkennt, können Sie sofort nach dem Verfallsdatum oder den enthaltenen Zutaten fragen, ohne die Abfrage neu starten zu müssen.
Im Gegensatz zu anderen Tools ist Guided Vision in der Lage, die Ausrichtung des Mobiltelefons steuernWenn das Gerät zu hoch, zu nah am Objekt oder leicht dezentriert ist, gibt Ihnen der Assistent verbale Anweisungen zur Korrektur. Position des Telefons anpassenDadurch wird sichergestellt, dass die KI über die notwendigen visuellen Informationen verfügt, um Fehler in der Beschreibung zu vermeiden.
Praktische Werkzeuge für den Alltag
Die Anwendungsbereiche sind unglaublich vielfältig und berühren ganz alltägliche Probleme, die wir manchmal als schwierig empfinden. Zum Beispiel ist es ideal für Kleinbuchstaben lesen auf Nährwertangaben oder Beipackzetteln von Medikamenten, wo sie nicht sofort sichtbar sind. Es ist auch sehr nützlich für Verlorene Gegenstände findenSie können das Telefon im Raum bewegen und es bitten, Sie zu alarmieren, wenn es beispielsweise einen auf den Boden gefallenen Ohrhörer oder den Pfefferstreuer in einer mit Gläsern gefüllten Küche erkennt.
Darüber hinaus dringt das Tool in subjektivere und ästhetische Bereiche vor. Guided Vision kann erkennen Muster, Formen und FarbenDu könntest sie also fragen, ob ein gestreiftes Hemd gut zu einer bestimmten Hose passt oder einfach herausfinden, welche Farbe ein Kleidungsstück hat. Sie kann sogar … allgemeine Beschreibung eines Aufenthalts unbekannt oder detailliert beschreiben, welche Gegenstände auf einem Tisch liegen.
Android-Konfiguration und Kompatibilität
Am einfachsten geht es, indem man die Gemini-App öffnet, zu den Profileinstellungen geht und Wählen Sie die Option zur Verwendung der geführten Sicht. Live. Sobald dies erledigt ist, öffnen Sie einfach Gemini Live und teilen Sie die Kamera. Für alle, die es schneller mögen, bietet Google die Möglichkeit, ein Live-Video zu erstellen. Direkter Zugriff über das Menü „Barrierefreiheit“ (Visuelle Unterstützung), die es ermöglicht, sie durch Zwei-Finger-Gesten, den schwebenden Knopf oder durch gleichzeitiges Drücken beider Lautstärketasten zu aktivieren.
Was die technischen Voraussetzungen betrifft, so läuft die Funktion reibungslos auf Geräten mit Android 9 oder spätere VersionenVorausgesetzt, Gemini Live ist in der Sprache und Region des Nutzers verfügbar. Es ist unerlässlich, sowohl das Betriebssystem als auch die Gemini-Anwendung zu besitzen. auf die neuste Version aktualisiertDarüber hinaus wurde es vollständig integriert mit Google Talkback um die Autonomie von Nutzern mit Sehbehinderungen zu maximieren.
Der Entwicklungsprozess und Sicherheitshinweise
Dieser Fortschritt ist nicht dem Zufall zu verdanken, sondern der engen Zusammenarbeit mit Aira, Experten für visuelle InterpretationUm die tatsächliche Zuverlässigkeit des Systems zu gewährleisten, wurden Tausende von Stunden an realen Daten und die Unterstützung von mehr als 1.000 Tester aus dem Trusted Tester-Netzwerkum sicherzustellen, dass die KI versteht, welche Informationen eine Person in einer Alltagssituation wirklich benötigt.
In einem Punkt bleibt Google jedoch unnachgiebig: bei diesem Tool es ist kein Medizinprodukt auch kein Sicherheitssystem. Das Unternehmen warnt davor, dass Guided Vision Fehler machen kann und daher Es sollte nicht zur Navigation verwendet werden. Auf der Straße Hindernisse auf dem Weg erkennen oder die Funktion eines Blindenhundes oder eines Blindenstocks ersetzen. Sein Zweck ist die zusätzliche visuelle Unterstützungnicht der Leitfaden für sichere Mobilität.
Diese Integration von Echtzeit-Bildverarbeitung markiert einen Paradigmenwechsel: Wir passen uns nicht mehr der Benutzeroberfläche des Telefons an, sondern die KI passt sich unserer Umgebung an. Durch die Kombination fortschrittlicher Bilderkennung mit einer natürlichen Sprachschnittstelle verwandelt Google das Mobiltelefon in ein … intelligenter Begleiter Fähig, den Benutzer in jeder Alltagssituation zu erkennen, zu identifizieren und anzuleiten.