- Permite descrições de áudio em tempo real através da câmera e do Gemini Live.
- Isso inclui auxílio no enquadramento do dispositivo móvel e no esclarecimento de dúvidas adicionais.
- Foi concebido como uma ferramenta de acessibilidade para pessoas cegas ou com deficiência visual.
- Requer Android 9 ou superior e não substitui os dispositivos de auxílio à mobilidade tradicionais.
Imagine poder carregar alguém no bolso que descreva exatamente o que está acontecendo ao seu redor em tempo real. Bem, é basicamente isso que o Google fez ao integrar o Guided Vision ao Gemini Live , um recurso que rompe com a dinâmica tradicional de digitar uma pergunta e esperar por uma resposta, permitindo agora que interajamos com a inteligência artificial simplesmente mostrando o mundo através da lente da câmera.
Esta ferramenta não é simplesmente um analisador de fotos estático; ela oferece uma conversa fluida e dinâmica baseada em visão computacional. Embora tenha um enorme potencial para qualquer pessoa que precise de auxílio com detalhes visuais, seu principal objetivo é a acessibilidade para pessoas cegas ou com deficiência visual , visando tornar o ambiente muito mais compreensível e gerenciável por meio de instruções de áudio precisas.
Como exatamente essa tecnologia funciona?
O processo é bastante simples: o usuário ativa o recurso e compartilha o sinal da câmera com o Gemini Live. A partir daí, a IA analisa a imagem ao vivo e o usuário pode perguntar qualquer coisa sobre o que está vendo. O recurso mais poderoso é a possibilidade de fazer perguntas de acompanhamento ; ou seja, se o Gemini identificar um pote de conserva, você pode perguntar imediatamente sobre a data de validade ou os ingredientes, sem precisar reiniciar a busca.
Ao contrário de outras ferramentas, o Guided Vision consegue orientar o enquadramento do telefone . Se o dispositivo estiver apontando muito para cima, muito perto do objeto ou ligeiramente descentralizado, o assistente fornecerá dicas verbais para ajustar a posição do telefone . Isso garante que a IA tenha as informações visuais necessárias para evitar erros na descrição.
Ferramentas práticas para o dia a dia
As aplicações são incrivelmente variadas e abordam situações do dia a dia que às vezes podem ser desafiadoras. Por exemplo, é ideal para ler letras minúsculas em rótulos nutricionais ou bulas de medicamentos, onde seus olhos não conseguem enxergar. Também é muito útil para localizar objetos perdidos ; você pode mover seu telefone pela sala e pedir que ele o alerte quando detectar, por exemplo, um fone de ouvido que caiu no chão ou o saleiro em uma cozinha cheia de potes.
Além disso, a ferramenta explora aspectos mais subjetivos e estéticos. O Guided Vision consegue reconhecer padrões, formas e cores , permitindo que você pergunte se uma camisa listrada combina com determinada calça ou simplesmente descubra a cor de uma peça de roupa. Ele pode até mesmo fornecer uma descrição geral de um cômodo desconhecido ou identificar os objetos sobre uma mesa.
Configuração e compatibilidade com Android
Para começar, a maneira mais direta é abrir o aplicativo Gemini, acessar as configurações do seu perfil e ativar a opção Visão Guiada ao Vivo. Depois disso, basta abrir o Gemini Live e compartilhar a imagem da sua câmera. Para quem busca um acesso ainda mais rápido, o Google incluiu a opção de criar um atalho no menu Acessibilidade (Visão), permitindo ativá-lo com gestos de dois dedos, o botão flutuante ou pressionando os dois botões de volume simultaneamente.
Em relação aos requisitos técnicos, o recurso funciona perfeitamente em dispositivos com Android 9 ou posterior , desde que o Gemini Live esteja disponível no idioma e região do usuário. É essencial que tanto o sistema operacional quanto o aplicativo Gemini estejam atualizados para a versão mais recente . Além disso, ele é totalmente integrado ao Google TalkBack para maximizar a independência de usuários com deficiência visual.
O processo de desenvolvimento e os avisos de segurança
Essa inovação não foi fruto do acaso, mas sim resultado de uma estreita colaboração com a Aira, especialista em interpretação visual . Para garantir a confiabilidade do sistema, foram utilizadas milhares de horas de dados reais, além do apoio de mais de mil testadores da rede Trusted Tester , assegurando que a IA compreendesse quais informações uma pessoa realmente precisa em uma situação cotidiana.
No entanto, há um ponto em que o Google é categórico: esta ferramenta não é um dispositivo médico nem um sistema de segurança. A empresa alerta que o Guided Vision pode cometer erros e, portanto, não deve ser usado para navegar em ruas, detectar obstáculos no caminho ou substituir a função de um cão-guia ou bengala. Seu objetivo é fornecer assistência visual complementar , não orientar a mobilidade com segurança.
Essa integração de visão em tempo real marca uma mudança de paradigma, onde não nos adaptamos mais à interface do telefone, mas sim a IA se adapta ao nosso ambiente. Ao combinar reconhecimento visual avançado com uma interface de voz natural, o Google transforma o celular em um companheiro inteligente capaz de ler, identificar e guiar o usuário em qualquer situação do dia a dia.