- Elle permet des descriptions audio en temps réel via la caméra et Gemini Live.
- Cela comprend une assistance pour le cadrage de l'appareil mobile et la formulation de questions de suivi.
- Il est conçu comme un outil d'accessibilité pour les personnes aveugles ou malvoyantes.
- Nécessite Android 9 ou une version ultérieure et ne remplace pas les aides à la mobilité traditionnelles.
Imaginez pouvoir avoir dans votre poche une personne capable de décrire précisément ce qui se passe autour de vous en temps réel. C'est précisément ce que Google a réalisé en intégrant Guided Vision à Gemini Live . Cette fonctionnalité rompt avec la méthode traditionnelle qui consiste à poser une question et à attendre une réponse, et nous permet désormais d'interagir avec l'intelligence artificielle simplement en lui montrant le monde à travers l'objectif de notre caméra.
Cet outil n'est pas un simple analyseur de photos statiques ; il propose un dialogue fluide et dynamique basé sur la vision par ordinateur. Bien qu'il offre un potentiel considérable à toute personne ayant besoin d'aide pour interpréter les détails visuels, son objectif principal est l'accessibilité pour les personnes aveugles ou malvoyantes , en rendant l'environnement plus compréhensible et plus facile d'utilisation grâce à des instructions audio précises.
Comment fonctionne exactement cette technologie ?
Le processus est très simple : l’utilisateur active la fonction et partage le signal de la caméra avec Gemini Live. L’IA analyse alors l’image en direct et l’utilisateur peut poser toutes ses questions sur ce qu’il voit. La fonction la plus puissante est la possibilité de poser des questions complémentaires ; par exemple, si Gemini identifie un bocal de conserves, vous pouvez immédiatement lui demander sa date de péremption ou sa composition sans avoir à recommencer la requête.
Contrairement à d'autres outils, la Vision guidée peut ajuster le cadrage du téléphone . Si l'appareil est pointé trop haut, trop près de l'objet ou légèrement décentré, l'assistant vous donnera des indications vocales pour corriger sa position . Ainsi, l'IA dispose des informations visuelles nécessaires pour éviter les erreurs de description.
Des outils pratiques pour la vie quotidienne
Les applications sont incroyablement variées et répondent à des situations quotidiennes parfois difficiles. Par exemple, c'est idéal pour lire les petits caractères sur les étiquettes nutritionnelles ou les notices de médicaments, là où vos yeux ne peuvent pas voir. C'est aussi très pratique pour retrouver des objets perdus : vous pouvez déplacer votre téléphone dans la pièce et lui demander de vous alerter lorsqu'il détecte, par exemple, un écouteur tombé par terre ou la salière au milieu de tous ces bocaux.
De plus, cet outil explore des domaines plus subjectifs et esthétiques. La Vision Guidée peut reconnaître des motifs, des formes et des couleurs ; vous pouvez ainsi lui demander si une chemise à rayures s’accorde bien avec un pantalon précis ou simplement connaître la couleur d’un vêtement. Elle peut même fournir une description générale d’une pièce inconnue ou identifier les objets posés sur une table.
Configuration et compatibilité Android
Pour commencer, le plus simple est d'ouvrir l'application Gemini, d'accéder aux paramètres de votre profil et d'activer l'option « Vision guidée en direct ». Ensuite, ouvrez Gemini Live et partagez le flux de votre caméra. Pour un accès encore plus rapide, Google propose de créer un raccourci dans le menu Accessibilité (Vision), activable par un geste à deux doigts, le bouton flottant ou en appuyant simultanément sur les deux boutons de volume.
Concernant les exigences techniques, la fonctionnalité est parfaitement compatible avec les appareils Android 9 et versions ultérieures , à condition que Gemini Live soit disponible dans la langue et la région de l'utilisateur. Il est indispensable que le système d'exploitation et l'application Gemini soient à jour . De plus, elle est entièrement intégrée à Google TalkBack afin d'offrir une autonomie optimale aux personnes malvoyantes.
Le processus de développement et les avertissements de sécurité
Cette avancée n'est pas le fruit du hasard, mais bien d'une étroite collaboration avec Aira, experte en interprétation visuelle . Pour garantir la fiabilité du système, des milliers d'heures de données réelles ont été utilisées, ainsi que le soutien de plus de 1 000 testeurs du réseau Trusted Tester , assurant ainsi que l'IA comprenne les informations dont une personne a réellement besoin au quotidien.
Cependant, Google est catégorique sur un point : cet outil n’est ni un dispositif médical ni un système de sécurité. L’entreprise prévient que Guided Vision peut commettre des erreurs et ne doit donc pas être utilisé pour se repérer dans les rues, détecter les obstacles sur le chemin ou remplacer un chien guide ou une canne blanche. Son but est d’offrir une assistance visuelle complémentaire , et non un système de guidage sécurisé pour les déplacements.
Cette intégration de la vision en temps réel marque un changement de paradigme : ce n’est plus nous qui nous adaptons à l’interface du téléphone, mais l’IA qui s’adapte à notre environnement. En combinant une reconnaissance visuelle avancée à une interface vocale naturelle, Google transforme le téléphone mobile en un compagnon intelligent capable de lire, d’identifier et de guider l’utilisateur dans toutes les situations du quotidien.