- Elle permet des descriptions audio en temps réel via la caméra et Gemini Live.
- Cela comprend une assistance pour le cadrage de l'appareil mobile et la formulation de questions de suivi.
- Il est conçu comme un outil d'accessibilité pour les personnes aveugles ou malvoyantes.
- Nécessite Android 9 ou une version ultérieure et ne remplace pas les aides à la mobilité traditionnelles.
Imaginez pouvoir avoir dans votre poche quelqu'un qui décrit exactement ce qui se passe autour de vous en temps réel. C'est en gros ce que Google a réalisé en intégrant Vision guidée au sein de Gemini LiveCette fonctionnalité rompt avec la dynamique traditionnelle qui consiste à poser une question et à attendre une réponse, nous permettant désormais d'interagir avec l'intelligence artificielle simplement en lui montrant le monde à travers l'objectif de la caméra.
Cet outil n'est pas un simple analyseur de photos statiques, mais propose plutôt un conversation fluide et dynamique basé sur la vision par ordinateur. Bien qu'il présente un potentiel énorme pour quiconque a besoin d'aide avec les détails visuels, son cœur et sa raison d'être sont les accessibilité pour les personnes aveugles ou, en cas de déficience visuelle, pour rendre l'environnement plus compréhensible et gérable grâce à des instructions audio précises.
Comment fonctionne exactement cette technologie ?
Le processus est assez simple : l'utilisateur active la fonction et partager le signal de la caméra avec Gemini Live. L'IA analyse l'image en direct et l'utilisateur peut poser toutes ses questions sur ce qu'il voit. Sa fonctionnalité la plus puissante est qu'elle permet de… questions de suiviAutrement dit, si Gemini identifie une boîte de conserve, vous pouvez immédiatement lui demander quelle est sa date de péremption ou quels sont ses ingrédients, sans avoir à relancer la requête.
Contrairement à d'autres outils, Guided Vision est capable de guider le cadrage du téléphone portableSi l'appareil pointe trop haut, trop près de l'objet ou légèrement décentré, l'assistant vous donnera des instructions verbales pour le corriger. ajuster la position du téléphoneCela permet à l'IA de disposer des informations visuelles nécessaires pour éviter les erreurs de description.
Des outils pratiques pour la vie quotidienne
Les applications sont incroyablement variées et abordent des problèmes très quotidiens qui nous semblent parfois complexes. Par exemple, c'est idéal pour lire les lettres minuscules sur les étiquettes nutritionnelles ou les notices de médicaments, où l'information n'est pas facilement visible. C'est également très utile pour localiser des objets perdusVous pouvez déplacer le téléphone dans la pièce et lui demander de vous alerter lorsqu'il détecte, par exemple, un écouteur tombé par terre ou la salière dans une cuisine remplie de bocaux.
De plus, l'outil explore des domaines plus subjectifs et esthétiques. La vision guidée peut reconnaître motifs, formes et couleursVous pourriez donc lui demander si une chemise à rayures s'accorde bien avec tel ou tel pantalon, ou simplement vous renseigner sur la couleur d'un vêtement. Elle peut même faire un description générale d'un séjour On ignore ou on ne précise pas ce qui se trouve sur la table.
Configuration et compatibilité Android
Pour commencer, le moyen le plus direct est d'ouvrir l'application Gemini, d'accéder aux paramètres du profil et sélectionnez l'option permettant d'utiliser la vision guidée en direct. Une fois cela fait, ouvrez simplement Gemini Live et partagez la caméra. Pour ceux qui recherchent plus de rapidité, Google a inclus l'option de créer un accès direct depuis le menu Accessibilité (Assistance visuelle), permettant son activation par des gestes à deux doigts, le bouton flottant ou en appuyant simultanément sur les deux boutons de volume.
Concernant les exigences techniques, la fonctionnalité fonctionne parfaitement sur les appareils dotés de Android 9 ou versions ultérieuresÀ condition que Gemini Live soit disponible dans la langue et la région de l'utilisateur, il est indispensable de disposer à la fois du système d'exploitation et de l'application Gemini. mis à jour vers la dernière versionDe plus, il a été entièrement intégré à Google TalkBack maximiser l'autonomie des utilisateurs malvoyants.
Le processus de développement et les avertissements de sécurité
Ces progrès ne sont pas le fruit du hasard, mais d'une étroite collaboration avec Aira, experts en interprétation visuellePour garantir la fiabilité du système, des milliers d'heures de données réelles et le soutien de plus de 1 000 testeurs du réseau Trusted Testers'assurer que l'IA comprenne les informations dont une personne a réellement besoin dans une situation quotidienne.
Cependant, il y a un point sur lequel Google est catégorique : cet outil ce n'est pas un dispositif médical ni de système de sécurité. L'entreprise prévient que Guided Vision peut commettre des erreurs et, par conséquent, Il ne doit pas être utilisé pour la navigation. sur la rue, détecter les obstacles sur le chemin, ou remplacer la fonction d'un chien guide ou d'une canne blanche. Son but est le assistance visuelle supplémentairepas le guide de mobilité sécurisée.
Cette intégration de la vision en temps réel marque un changement de paradigme : ce n'est plus nous qui nous adaptons à l'interface du téléphone, mais l'IA qui s'adapte à notre environnement. En combinant une reconnaissance visuelle avancée à une interface vocale naturelle, Google transforme le téléphone mobile en un véritable assistant vocal. compagnon intelligent capable de lire, d'identifier et de guider l'utilisateur dans toutes les situations quotidiennes.