- Це дозволяє передавати аудіоописи в режимі реального часу через камеру та Gemini Live.
- Це включає допомогу з оформленням мобільного пристрою та постановкою додаткових запитань.
- Він розроблений як інструмент доступності для незрячих або слабозорих людей.
- Потрібна версія Android 9 або вище, і не замінює традиційні засоби пересування.
Уявіть, що ви можете носити в кишені когось, хто може точно описати, що відбувається навколо вас у режимі реального часу. Що ж, саме це Google і зробив, інтегрувавши Guided Vision у Gemini Live – функцію, яка порушує традиційну динаміку набору питання та очікування відповіді, тепер дозволяючи нам взаємодіяти зі штучним інтелектом, просто показуючи йому світ через об’єктив камери.
Цей інструмент — не просто статичний аналізатор фотографій; він пропонує плавну та динамічну розмову на основі комп’ютерного зору. Хоча він має величезний потенціал для всіх, хто потребує допомоги з візуальними деталями, його основна мета — доступність для незрячих або слабозорих людей , прагнучи зробити середовище набагато зрозумілішим та керованішим за допомогою точних аудіоінструкцій.
Як саме працює ця технологія?
Процес досить простий: користувач активує функцію та передає сигнал камери Gemini Live. Після цього штучний інтелект аналізує зображення в реальному часі, і користувач може запитати будь-що про те, що він бачить. Найпотужніша функція полягає в тому, що вона дозволяє ставити додаткові запитання ; тобто, якщо Gemini ідентифікує банку з варенням, ви можете негайно запитати її про термін придатності або інгредієнти, не перезапускаючи запит.
На відміну від інших інструментів, Guided Vision може керувати кадруванням телефону . Якщо пристрій спрямований занадто високо, занадто близько до об'єкта або трохи не по центру, помічник надасть вам словесні підказки для коригування положення телефону . Це гарантує, що штучний інтелект матиме необхідну візуальну інформацію, щоб уникнути помилок в його описі.
Практичні інструменти для повсякденного життя
Застосунки неймовірно різноманітні та стосуються повсякденних ситуацій, які іноді можуть бути складними. Наприклад, він ідеально підходить для читання дрібного шрифту на етикетках з інформацією про харчову цінність або листівках з ліками, де ваші очі не можуть бачити. Він також дуже корисний для пошуку загублених предметів ; ви можете переміщати телефон по кімнаті та попросити його сповістити вас, коли він виявить, наприклад, навушник, що впав на підлогу, або перечницю на кухні, повній банок.
Крім того, інструмент заглиблюється в більш суб'єктивні та естетичні сфери. Guided Vision може розпізнавати візерунки, форми та кольори , тому ви можете запитати його, чи пасує смугаста сорочка до певних штанів, або просто дізнатися, якого кольору одяг. Він навіть може надати загальний опис незнайомої кімнати або ідентифікувати предмети на столі.
Конфігурація та сумісність Android
Щоб розпочати, найпростіший спосіб – відкрити застосунок Gemini, перейти до налаштувань профілю та ввімкнути опцію використання Live Guided Vision. Після цього просто відкрийте Gemini Live та поділіться зображенням з камери. Для тих, хто шукає ще швидшого доступу, Google додав опцію створення ярлика з меню «Доступність » (Зір), що дозволяє активувати його жестами двома пальцями, плаваючою кнопкою або одночасним натисканням обох кнопок гучності.
Щодо технічних вимог, функція працює безперебійно на пристроях з Android 9 або пізнішої версії , за умови, що Gemini Live доступний мовою та регіоном користувача. Важливо оновити як операційну систему, так і додаток Gemini до останньої версії . Крім того, він повністю інтегрований з Google TalkBack для максимальної незалежності користувачів з вадами зору.
Процес розробки та попередження щодо безпеки
Цей прорив не став випадковістю, а радше результатом тісної співпраці з Aira, експертами з візуальної інтерпретації . Для забезпечення надійності системи було використано тисячі годин реальних даних, а також підтримку понад 1.000 тестувальників з мережі Trusted Tester , що гарантувало, що штучний інтелект розуміє, яка інформація дійсно потрібна людині в повсякденній ситуації.
Однак, є один момент, у якому Google непохитний: цей інструмент не є ні медичним пристроєм, ні системою безпеки. Компанія попереджає, що система Guided Vision може помилятися, тому її не слід використовувати для навігації вулицями, виявлення перешкод на шляху або заміни функції собаки-поводиря чи тростини. Її призначення — додаткова візуальна допомога , а не безпечне керівництво для пересування.
Ця інтеграція зору в реальному часі знаменує собою зміну парадигми, коли ми більше не адаптуємося до інтерфейсу телефону, а штучний інтелект адаптується до нашого середовища. Поєднуючи розширене візуальне розпізнавання з природним голосовим інтерфейсом, Google перетворює мобільний телефон на інтелектуального супутника , здатного зчитувати, ідентифікувати та керувати користувачем у будь-якій повсякденній ситуації.