- Омогућава аудио описе у реалном времену путем камере и Gemini Live-а.
- То укључује помоћ при кадрирању мобилног уређаја и постављању додатних питања.
- Дизајниран је као алат за приступачност за слепе или слабовиде особе.
- Захтева Андроид 9 или новији и не замењује традиционална помагала за мобилност.
Замислите да можете да носите некога у џепу ко може тачно да опише шта се дешава око вас у реалном времену. Па, то је у основи оно што је Google урадио интегришући Guided Vision у Gemini Live , функцију која прекида традиционалну динамику куцања питања и чекања одговора, сада нам омогућавајући да интерагујемо са вештачком интелигенцијом једноставно тако што јој приказујемо свет кроз објектив камере.
Овај алат није само статички анализатор фотографија; он нуди флуидан и динамичан разговор заснован на компјутерском виду. Иако има огроман потенцијал за свакога коме је потребна помоћ са визуелним детаљима, његова основна сврха је приступачност слепим или слабовидим особама , са циљем да окружење учини много разумљивијим и лакшим за управљање путем прецизних аудио инструкција.
Како тачно функционише ова технологија?
Процес је прилично једноставан: корисник активира функцију и дели сигнал камере са Gemini Live-ом. Одатле, вештачка интелигенција анализира слику уживо, а корисник може да пита било шта о ономе што види. Најмоћнија карактеристика је то што омогућава додатна питања ; то јест, ако Gemini идентификује теглу џема, можете је одмах питати о датуму истека или састојцима без потребе за поновним покретањем упита.
За разлику од других алата, вођени вид може да води кадрирање телефона . Ако је уређај усмерен превисоко, преблизу објекту или је мало ван центра, асистент ће вам дати вербалне знакове за подешавање положаја телефона . Ово осигурава да вештачка интелигенција има потребне визуелне информације како би се избегле грешке у његовом опису.
Практични алати за свакодневни живот
Апликације су невероватно разноврсне и баве се свакодневним ситуацијама које понекад могу бити изазовне. На пример, идеалан је за читање ситних слова на етикетама за исхрану или упутствима за лекове где ваше очи не могу да виде. Такође је веома користан за проналажење изгубљених предмета ; можете померати телефон по соби и тражити од њега да вас упозори када детектује, на пример, слушалицу која је пала на под или биберницу у кухињи пуној тегли.
Штавише, алат залази у субјективније и естетскије области. Вођени вид може да препозна шаре, облике и боје , тако да га можете питати да ли пругаста кошуља добро иде уз одређене панталоне или једноставно сазнати које је боје одећа. Чак може да пружи општи опис непознате собе или да идентификује предмете на столу.
Конфигурација и компатибилност са Андроидом
Да бисте започели, најдиректнији начин је да отворите апликацију Gemini, одете у подешавања профила и омогућите опцију коришћења функције Live Guided Vision. Када то урадите, једноставно отворите Gemini Live и делите снимак са камере. За оне који траже још бржи приступ, Google је укључио опцију за креирање пречице из менија Приступачност (Вид), што вам омогућава да је активирате гестовима са два прста, плутајућим дугметом или истовременим притиском на оба дугмета за јачину звука.
Што се тиче техничких захтева, функција ради глатко на уређајима са Андроидом 9 или новијим , под условом да је Gemini Live доступан на језику и региону корисника. Неопходно је да и оперативни систем и апликација Gemini буду ажурирани на најновију верзију . Штавише, потпуно је интегрисана са Google TalkBack-ом како би се максимизирала независност за кориснике са оштећеним видом.
Процес развоја и безбедносна упозорења
Овај пробој није био ствар случајности, већ резултат блиске сарадње са компанијом Aira, стручњацима за визуелну интерпретацију . Да би се осигурала поузданост система, коришћене су хиљаде сати података из стварног света, уз подршку преко 1.000 тестера из мреже Trusted Tester , што гарантује да вештачка интелигенција разуме које информације су особи заиста потребне у свакодневној ситуацији.
Међутим, постоји једна ствар у којој је Гугл непоколебљив: овај алат није ни медицински уређај ни безбедносни систем. Компанија упозорава да вођени вид може да прави грешке и стога не би требало да се користи за навигацију улицама, откривање препрека на путу или замену функције пса водича или штапа. Његова сврха је комплементарна визуелна помоћ , а не безбедно вођење за кретање.
Ова интеграција вида у реалном времену означава промену парадигме где се више не прилагођавамо интерфејсу телефона, већ се вештачка интелигенција прилагођава нашем окружењу. Комбиновањем напредног визуелног препознавања са природним гласовним интерфејсом, Google трансформише мобилни телефон у интелигентног пратиоца способног да чита, идентификује и води корисника у било којој свакодневној ситуацији.