- Це дозволяє передавати аудіоописи в режимі реального часу через камеру та Gemini Live.
- Це включає допомогу з оформленням мобільного пристрою та постановкою додаткових запитань.
- Він розроблений як інструмент доступності для незрячих або слабозорих людей.
- Потрібна версія Android 9 або вище, і не замінює традиційні засоби пересування.
Уявіть, що ви можете носити в кишені когось, хто точно описує, що відбувається навколо вас у режимі реального часу. Що ж, саме це Google і зробив, інтегрувавши Кероване бачення в Gemini LiveЦя функціональність порушує традиційну динаміку написання питання та очікування відповіді, тепер дозволяючи нам взаємодіяти зі штучним інтелектом, просто показуючи йому світ через об'єктив камери.
Цей інструмент не є простим статичним фотоаналізатором, а радше пропонує плавна та динамічна розмова на основі комп'ютерного зору. Хоча він має величезний потенціал для будь-кого, кому потрібна допомога з візуальними деталями, його серцем і сенсом існування є доступність для незрячих людей або з обмеженим зором, прагнучи зробити середовище набагато зрозумілішим та керованішим за допомогою точних аудіоінструкцій.
Як саме працює ця технологія?
Процес досить простий: користувач активує функцію та поділитися сигналом камери з Gemini Live. Звідти штучний інтелект аналізує зображення в реальному часі, і користувач може запитати будь-що про те, що він бачить. Найпотужніша функція полягає в тому, що вона дозволяє вам робити подальші запитанняІншими словами, якщо Gemini ідентифікує банку варення, ви можете негайно запитати його про термін придатності або про те, які інгредієнти вона містить, без необхідності перезапускати запит.
На відміну від інших інструментів, Guided Vision здатний керувати кадруванням мобільного телефонуЯкщо пристрій спрямований занадто високо, занадто близько до об'єкта або трохи не по центру, помічник надасть вам голосові підказки щодо виправлення. відрегулювати положення телефонуЦе гарантує, що ШІ має необхідну візуальну інформацію, щоб уникнути помилок в описі.
Практичні інструменти для повсякденного життя
Застосування неймовірно різноманітні та стосуються дуже повсякденних питань, які ми іноді вважаємо складними. Наприклад, це ідеально підходить для читати малі літери на етикетках харчової цінності або листівках з інструкціями для ліків, де це нелегко побачити. Це також дуже корисно для знайти загублені предметиВи можете переміщати телефон по кімнаті та попросити його сповістити вас, коли він виявить, наприклад, навушники, що впали на підлогу, або перечницю на кухні, повній банок.
Крім того, інструмент заглиблюється в більш суб'єктивну та естетичну сферу. Керований зір може розпізнавати візерунки, форми та кольориТож ви можете запитати її, чи пасує смугаста сорочка до певних штанів, або просто дізнатися, якого кольору одяг. Вона навіть може зробити загальний опис перебування невідомо або детально описувати, які речі лежать на столі.
Конфігурація та сумісність Android
Щоб розпочати, найпростіший спосіб – відкрити застосунок Gemini, перейти до налаштувань профілю та виберіть опцію використання керованого зору в прямому ефірі. Після цього просто відкрийте Gemini Live та поділіться камерою. Для тих, хто шукає більшої швидкості, Google додав опцію створення прямий доступ із меню «Доступність» (Візуальна допомога), що дозволяє активувати її жестами двома пальцями, плаваючою кнопкою або одночасним натисканням обох кнопок гучності.
Що стосується технічних вимог, функція працює безперебійно на пристроях із Android 9 або пізнішої версіїза умови, що Gemini Live доступний мовою та регіоном користувача. Обов’язково потрібно мати як операційну систему, так і застосунок Gemini. оновлено до останньої версіїКрім того, він повністю інтегрований з Google TalkBack щоб максимізувати автономію користувачів з вадами зору.
Процес розробки та попередження щодо безпеки
Цей прогрес не був результатом випадковості, а тісної співпраці з Айра, експертки з візуальної інтерпретаціїЩоб забезпечити справжню надійність системи, було використано тисячі годин реальних даних та підтримку понад 1.000 тестувальників з мережі Trusted Testerзабезпечення того, щоб ШІ розумів, яка інформація дійсно потрібна людині в повсякденній ситуації.
Однак є один момент, у якому Google непохитний: цей інструмент це не медичний виріб ані система безпеки. Компанія попереджає, що система керування зірами може помилятися, і тому Його не слід використовувати для навігації. на вулиці, виявляти перешкоди на шляху або замінювати функцію собаки-поводиря чи тростини. Його призначення полягає в тому, додаткова візуальна допомогане посібник із безпечного пересування.
Ця інтеграція зору в реальному часі знаменує собою зміну парадигми, коли ми більше не адаптуємося до інтерфейсу телефону, а штучний інтелект адаптується до нашого середовища. Поєднуючи розширене візуальне розпізнавання з природним голосовим інтерфейсом, Google перетворює мобільний телефон на... розумний компаньйон здатний читати, ідентифікувати та керувати користувачем у будь-якій повсякденній ситуації.