- Se mahdollistaa reaaliaikaiset äänikuvaukset kameran ja Gemini Liven kautta.
- Se sisältää apua mobiililaitteen kehystämisessä ja jatkokysymysten esittämisessä.
- Se on suunniteltu esteettömyystyökaluksi sokeille tai näkövammaisille.
- Vaatii Android 9:n tai uudemman käyttöjärjestelmän eikä korvaa perinteisiä liikkumisen apuvälineitä.
Kuvittele, että voisit kantaa taskussasi jotakuta, joka kuvailee reaaliajassa tarkalleen, mitä ympärilläsi tapahtuu. No, juuri näin Google on tehnyt integroimalla Ohjattu visio Gemini LivessäTämä toiminnallisuus rikkoo perinteisen kysymyksen kirjoittamisen ja vastauksen odottamisen dynamiikan ja antaa meille nyt mahdollisuuden olla vuorovaikutuksessa tekoälyn kanssa yksinkertaisesti näyttämällä sille maailmaa kameran linssin läpi.
Tämä työkalu ei ole yksinkertainen staattinen valokuva-analysaattori, vaan pikemminkin tarjoaa sujuva ja dynaaminen keskustelu konenäköön perustuva. Vaikka sillä on valtava potentiaali kaikille, jotka tarvitsevat apua visuaalisten yksityiskohtien kanssa, sen ydin ja olemassaolon tarkoitus on esteettömyys näkövammaisille tai näkövammaisille, pyrkien tekemään ympäristöstä paljon ymmärrettävämpää ja hallittavampaa tarkkojen ääniohjeiden avulla.
Miten tämä teknologia tarkalleen ottaen toimii?
Prosessi on melko yksinkertainen: käyttäjä aktivoi toiminnon ja jaa kameran signaali Gemini Liven avulla. Tekoäly analysoi reaaliaikaisen kuvan, ja käyttäjä voi kysyä mitä tahansa näkemästään. Tehokkain ominaisuus on, että sen avulla voit tehdä jatkokysymyksetToisin sanoen, jos Gemini tunnistaa hillotölkin, voit heti kysyä siltä viimeisen käyttöpäivämäärän tai ainesosat ilman, että sinun tarvitsee aloittaa kyselyä uudelleen.
Toisin kuin muut työkalut, Guided Vision pystyy ohjaa matkapuhelimen rajaustaJos laite osoittaa liian korkealle, liian lähelle kohdetta tai hieman keskipisteen ulkopuolelle, avustaja antaa sinulle äänikehotteita sen korjaamiseksi. säädä puhelimen asentoaTämä varmistaa, että tekoälyllä on tarvittavat visuaaliset tiedot, jotta kuvauksissa ei tapahdu virheitä.
Käytännön työkaluja arkeen
Sovellukset ovat uskomattoman vaihtelevia ja käsittelevät hyvin arkipäiväisiä aiheita, jotka joskus tuntuvat haastavilta. Se sopii esimerkiksi erinomaisesti lue pienet kirjaimet ravintosisältömerkinnöissä tai lääkeselosteissa, joissa se ei ole helposti näkyvissä. Se on myös erittäin hyödyllinen paikantaa kadonneita esineitäVoit liikutella puhelinta huoneessa ja pyytää sitä ilmoittamaan, kun se havaitsee esimerkiksi lattialle pudonneen kuulokkeen tai pippurisirottajan keittiössä, joka on täynnä purkkeja.
Lisäksi työkalu sukeltaa subjektiivisempaan ja esteettisempään alueeseen. Ohjattu näkö voi tunnistaa kuvioita, muotoja ja värejäVoit siis kysyä häneltä, sopiiko raidallinen paita tiettyjen housujen kanssa, tai yksinkertaisesti selvittää, minkä värinen vaate on. Hän voi jopa tehdä yleinen kuvaus oleskelusta tuntematon tai yksityiskohtaisesti, mitä esineitä pöydällä lepää.
Android-kokoonpano ja yhteensopivuus
Aloittaaksesi suorin tapa on avata Gemini-sovellus, siirtyä profiiliasetuksiin ja valitse ohjatun näkötoiminnon käyttövaihtoehto suorana. Kun tämä on tehty, avaa vain Gemini Live ja jaa kamera. Niille, jotka haluavat lisää nopeutta, Google on lisännyt mahdollisuuden luoda suora pääsy Esteettömyys-valikosta (Visuaalinen avustus), jonka avulla se voidaan aktivoida kahden sormen eleillä, kelluvalla painikkeella tai painamalla molempia äänenvoimakkuuspainikkeita samanaikaisesti.
Teknisten vaatimusten osalta ominaisuus toimii sujuvasti laitteilla, joissa on Android 9 tai uudemmat versiotedellyttäen, että Gemini Live on saatavilla käyttäjän kielellä ja alueella. On välttämätöntä, että sekä käyttöjärjestelmä että Gemini-sovellus ovat asennettuina. päivitetty uusimpaan versioonLisäksi se on täysin integroitu mm. Google TalkBack näkövammaisten käyttäjien itsenäisyyden maksimoimiseksi.
Kehitysprosessi ja turvallisuusvaroitukset
Tämä edistys ei ole sattuman, vaan läheisen yhteistyön tulosta. Aira, visuaalisen tulkinnan asiantuntijaJärjestelmän todellisen luotettavuuden varmistamiseksi käytettiin tuhansia tunteja reaalimaailman dataa ja yli 100 asiantuntijan tukea. 1 000 testaajaa Luotettava testaaja -verkostostavarmistaen, että tekoäly ymmärtää, mitä tietoa ihminen todella tarvitsee arkipäivän tilanteessa.
Yhdessä asiassa Google on kuitenkin ehdoton: tämä työkalu se ei ole lääkinnällinen laite eikä turvajärjestelmää. Yritys varoittaa, että Guided Vision voi tehdä virheitä ja siksi Sitä ei tule käyttää navigointiin. kadulla, havaita esteitä tiellä tai korvata opaskoiran tai kävelykepin toiminnan. Sen tarkoitus on täydentävää visuaalista apuaei turvallisen liikkumisen opas.
Tämä reaaliaikaisen näön integrointi merkitsee paradigman muutosta, jossa emme enää sopeudu puhelimen käyttöliittymään, vaan tekoäly sopeutuu ympäristöömme. Yhdistämällä edistyneen visuaalisen tunnistuksen luonnolliseen äänikäyttöliittymään Google muuttaa matkapuhelimen… älykäs seuralainen kykenevä lukemaan, tunnistamaan ja opastamaan käyttäjää kaikissa arkipäivän tilanteissa.