- Это позволяет передавать аудиоописания в реальном времени через камеру и Gemini Live.
- Включает помощь в оформлении мобильного устройства и задавании дополнительных вопросов.
- Это средство разработано как инструмент обеспечения доступности для слепых или слабовидящих людей.
- Требуется Android 9 или выше, и не заменяет традиционные средства передвижения.
Представьте, что вы можете носить в кармане человека, который в режиме реального времени точно описывает происходящее вокруг вас. По сути, именно это и сделала Google, интегрировав функцию Guided Vision в Gemini Live . Эта функция отходит от традиционной модели ввода вопроса и ожидания ответа, позволяя нам взаимодействовать с искусственным интеллектом, просто показывая ему мир через объектив камеры.
Этот инструмент — не просто статичный фотоанализатор; он предлагает плавный и динамичный диалог, основанный на компьютерном зрении. Хотя он обладает огромным потенциалом для всех, кому нужна помощь в восприятии визуальных деталей, его основная цель — доступность для слепых или слабовидящих людей , стремящихся сделать окружающую среду гораздо более понятной и управляемой с помощью точных звуковых инструкций.
Как именно работает эта технология?
Процесс довольно прост: пользователь активирует функцию и передает сигнал камеры в Gemini Live. Затем ИИ анализирует изображение в реальном времени, и пользователь может задать любой вопрос о том, что он видит. Самая мощная функция — это возможность задавать дополнительные вопросы ; то есть, если Gemini обнаружит банку с консервами, вы можете сразу же спросить о сроке годности или составе, не начиная запрос заново.
В отличие от других инструментов, Guided Vision может направлять кадрирование телефона . Если устройство направлено слишком высоко, слишком близко к объекту или немного смещено от центра, ассистент даст вам словесные подсказки для корректировки положения телефона . Это гарантирует, что ИИ получит необходимую визуальную информацию, чтобы избежать ошибок в описании.
Практические инструменты для повседневной жизни
Приложения невероятно разнообразны и предназначены для решения повседневных задач, которые порой могут быть сложными. Например, они идеально подходят для чтения мелкого шрифта на этикетках продуктов питания или инструкциях к лекарствам, когда глаза не видят. Они также очень полезны для поиска потерянных предметов ; вы можете перемещать телефон по комнате и попросить его оповестить вас, когда он обнаружит, например, упавший на пол наушник или перечницу на кухне, полной банок.
Кроме того, инструмент затрагивает более субъективные и эстетические аспекты. Guided Vision может распознавать узоры, формы и цвета , поэтому вы можете спросить его, хорошо ли сочетается полосатая рубашка с определенными брюками, или просто узнать, какого цвета одежда. Он даже может дать общее описание незнакомой комнаты или идентифицировать предметы на столе.
Настройка и совместимость Android
Для начала самый простой способ — открыть приложение Gemini, перейти в настройки профиля и включить опцию использования Live Guided Vision. После этого просто откройте Gemini Live и поделитесь видеопотоком с камеры. Для тех, кому нужен еще более быстрый доступ, Google предусмотрел возможность создания ярлыка в меню «Специальные возможности (Vision)», позволяющего активировать функцию жестами двумя пальцами, плавающей кнопкой или одновременным нажатием обеих кнопок регулировки громкости.
Что касается технических требований, функция бесперебойно работает на устройствах с Android 9 или более поздней версии , при условии, что Gemini Live доступен на языке и в регионе пользователя. Необходимо обновить как операционную систему, так и приложение Gemini до последней версии . Кроме того, функция полностью интегрирована с Google TalkBack , что обеспечивает максимальную независимость для пользователей с нарушениями зрения.
Процесс разработки и предупреждения о безопасности
Этот прорыв не был случайностью, а стал результатом тесного сотрудничества с компанией Aira, экспертами в области визуальной интерпретации . Для обеспечения надежности системы были использованы тысячи часов реальных данных, а также поддержка более 1.000 тестировщиков из сети Trusted Tester , гарантирующая, что ИИ понимает, какая информация действительно необходима человеку в повседневной ситуации.
Однако Google категорически заявляет об одном: этот инструмент не является ни медицинским устройством , ни системой безопасности. Компания предупреждает, что Guided Vision может ошибаться и, следовательно, не должен использоваться для навигации по улицам, обнаружения препятствий на пути или замены функций собаки-поводыря или трости. Его цель — дополнительная визуальная помощь , а не безопасное руководство по передвижению.
Интеграция визуального распознавания в реальном времени знаменует собой сдвиг парадигмы, когда мы больше не адаптируемся к интерфейсу телефона, а искусственный интеллект адаптируется к окружающей среде. Объединяя передовое визуальное распознавание с естественным голосовым интерфейсом, Google превращает мобильный телефон в интеллектуального компаньона , способного считывать, идентифицировать и направлять пользователя в любой повседневной ситуации.