- Tas nodrošina audio aprakstus reāllaikā, izmantojot kameru un Gemini Live.
- Tas ietver palīdzību mobilās ierīces kadrēšanas noteikšanā un papildu jautājumu uzdošanā.
- Tas ir izstrādāts kā piekļuves rīks neredzīgiem vai vājredzīgiem cilvēkiem.
- Nepieciešama Android 9 vai jaunāka versija, un tā neaizstāj tradicionālos mobilitātes palīglīdzekļus.
Iedomājieties, ka varat kabatā nēsāt kādu, kurš reāllaikā var precīzi aprakstīt, kas notiek jums apkārt. Nu, tieši to Google ir paveicis, integrējot vadīto redzi lietotnē Gemini Live — funkciju, kas lauž tradicionālo jautājuma ierakstīšanas un atbildes gaidīšanas dinamiku, tagad ļaujot mums mijiedarboties ar mākslīgo intelektu, vienkārši parādot tam pasauli caur kameras objektīvu.
Šis rīks nav tikai statisks fotoattēlu analizators; tas piedāvā plūstošu un dinamisku sarunu, kuras pamatā ir datorredze. Lai gan tam ir milzīgs potenciāls ikvienam, kam nepieciešama palīdzība ar vizuālām detaļām, tā galvenais mērķis ir pieejamība neredzīgiem vai vājredzīgiem cilvēkiem , padarot vidi daudz saprotamāku un pārvaldāmāku, izmantojot precīzas audio instrukcijas.
Kā tieši šī tehnoloģija darbojas?
Process ir pavisam vienkāršs: lietotājs aktivizē funkciju un kopīgo kameras signālu ar Gemini Live. Pēc tam mākslīgais intelekts analizē tiešraides attēlu, un lietotājs var uzdot jebko par redzēto. Visspēcīgākā funkcija ir tā, ka tā ļauj uzdot papildu jautājumus ; tas ir, ja Gemini identificē ievārījuma burku, varat nekavējoties jautāt par derīguma termiņu vai sastāvdaļām, neatkārtojot vaicājumu.
Atšķirībā no citiem rīkiem, Guided Vision var vadīt tālruņa kadrēšanu . Ja ierīce ir vērsta pārāk augstu, pārāk tuvu objektam vai nedaudz novirzīta no centra, asistents sniegs jums mutiskus norādījumus, lai pielāgotu tālruņa pozīciju . Tas nodrošina, ka mākslīgajam intelektam ir nepieciešamā vizuālā informācija, lai izvairītos no kļūdām tā aprakstā.
Praktiski rīki ikdienas dzīvei
Lietotnes ir neticami daudzveidīgas un risina ikdienas situācijas, kas dažkārt var būt sarežģītas. Piemēram, tā ir ideāli piemērota sīka drukas lasīšanai uz uztura marķējuma vai zāļu lietošanas instrukcijām, kur acis to nevar redzēt. Tā ir arī ļoti noderīga pazaudētu priekšmetu atrašanai ; varat pārvietot tālruni pa istabu un lūgt tam brīdināt, kad tas, piemēram, konstatē uz grīdas nokritušu austiņu vai piparu trauciņu virtuvē, kas pilna ar burkām.
Turklāt rīks iedziļinās subjektīvākās un estētiskākās sfērās. Vadītā redze spēj atpazīt rakstus, formas un krāsas , tāpēc varat tai pajautāt, vai svītrains krekls labi piestāv konkrētām biksēm, vai vienkārši noskaidrot, kādā krāsā ir apģērba gabals. Tas var pat sniegt vispārīgu nepazīstamas telpas aprakstu vai identificēt uz galda esošos priekšmetus.
Android konfigurācija un saderība
Lai sāktu darbu, vistiešākais veids ir atvērt lietotni Gemini, doties uz profila iestatījumiem un iespējot opciju izmantot tiešraides vadīto redzi. Kad tas ir izdarīts, vienkārši atveriet lietotni Gemini Live un kopīgojiet kameras plūsmu. Tiem, kas meklē vēl ātrāku piekļuvi, Google ir iekļāvis iespēju izveidot saīsni no pieejamības (redzes) izvēlnes, ļaujot to aktivizēt ar divu pirkstu žestiem, peldošo pogu vai vienlaikus nospiežot abas skaļuma pogas.
Runājot par tehniskajām prasībām, funkcija darbojas nevainojami ierīcēs ar Android 9 vai jaunāku versiju , ja vien Gemini Live ir pieejams lietotāja valodā un reģionā. Ir svarīgi, lai gan operētājsistēma, gan Gemini lietotne būtu atjaunināta uz jaunāko versiju . Turklāt tā ir pilnībā integrēta ar Google TalkBack , lai maksimāli palielinātu neatkarību lietotājiem ar redzes traucējumiem.
Izstrādes process un drošības brīdinājumi
Šis sasniegums nebija nejaušība, bet gan ciešas sadarbības ar vizuālās interpretācijas eksperti Airu rezultāts . Lai nodrošinātu sistēmas uzticamību, tika izmantotas tūkstošiem stundu reālās pasaules datu, kā arī vairāk nekā 1.000 testētāju no Trusted Tester tīkla atbalsts , garantējot, ka mākslīgais intelekts saprot, kāda informācija cilvēkam ikdienas situācijā patiešām ir nepieciešama.
Tomēr ir viens punkts, kurā Google ir nelokāms: šis rīks nav ne medicīnas ierīce , ne drošības sistēma. Uzņēmums brīdina, ka Guided Vision var pieļaut kļūdas un tāpēc to nevajadzētu izmantot ielu pārvietošanai, šķēršļu noteikšanai ceļā vai pavadoņsuņa vai spieķa funkcijas aizstāšanai. Tā mērķis ir papildinoša vizuālā palīdzība , nevis drošas pārvietošanās vadība.
Šī reāllaika redzes integrācija iezīmē paradigmas maiņu, kur mēs vairs nepielāgojamies tālruņa saskarnei, bet gan mākslīgais intelekts pielāgojas mūsu videi. Apvienojot uzlabotu vizuālo atpazīšanu ar dabiskas balss saskarni, Google pārveido mobilo tālruni par inteliģentu pavadoni , kas spēj lasīt, identificēt un vadīt lietotāju jebkurā ikdienas situācijā.