- Se mahdollistaa reaaliaikaiset äänikuvaukset kameran ja Gemini Liven kautta.
- Se sisältää apua mobiililaitteen kehystämisessä ja jatkokysymysten esittämisessä.
- Se on suunniteltu esteettömyystyökaluksi sokeille tai näkövammaisille.
- Vaatii Android 9:n tai uudemman käyttöjärjestelmän eikä korvaa perinteisiä liikkumisen apuvälineitä.
Kuvittele, että voisit kantaa taskussasi jotakuta, joka pystyy kuvailemaan tarkalleen, mitä ympärilläsi tapahtuu reaaliajassa. No, juuri näin Google on tehnyt integroimalla Guided Visionin Gemini Liveen . Tämä ominaisuus rikkoo perinteisen kysymyksen kirjoittamisen ja vastauksen odottamisen dynamiikan ja antaa meille nyt mahdollisuuden olla vuorovaikutuksessa tekoälyn kanssa yksinkertaisesti näyttämällä sille maailmaa kameran linssin läpi.
Tämä työkalu ei ole pelkkä staattinen valokuvien analysointilaite; se tarjoaa sujuvan ja dynaamisen keskustelun konenäköön perustuen. Vaikka sillä on valtava potentiaali kaikille, jotka tarvitsevat apua visuaalisten yksityiskohtien kanssa, sen ydintarkoitus on esteettömyys sokeille tai näkövammaisille henkilöille , ja sen tavoitteena on tehdä ympäristöstä paljon ymmärrettävämpi ja hallittavampi tarkkojen ääniohjeiden avulla.
Miten tämä teknologia tarkalleen ottaen toimii?
Prosessi on melko yksinkertainen: käyttäjä aktivoi ominaisuuden ja jakaa kameran signaalin Gemini Liven kanssa. Tämän jälkeen tekoäly analysoi reaaliaikaisen kuvan, ja käyttäjä voi kysyä mitä tahansa näkemästään. Tehokkain ominaisuus on se, että se mahdollistaa jatkokysymykset ; eli jos Gemini tunnistaa hillopurkin, voit välittömästi kysyä siltä viimeistä käyttöpäivää tai ainesosia ilman, että kyselyä tarvitsee aloittaa uudelleen.
Toisin kuin muut työkalut, Guided Vision voi ohjata puhelimen rajausta . Jos laite osoittaa liian korkealle, liian lähelle kohdetta tai hieman sivussa kuvasta, avustaja antaa sinulle äänivihjeitä puhelimen asennon säätämiseksi . Tämä varmistaa, että tekoälyllä on tarvittavat visuaaliset tiedot virheiden välttämiseksi kuvauksessa.
Käytännön työkaluja arkeen
Sovellukset ovat uskomattoman monipuolisia ja käsittelevät arkipäivän tilanteita, jotka voivat joskus olla haastavia. Se on esimerkiksi ihanteellinen ravintosisältömerkintöjen tai lääkeselosteiden pienen tekstin lukemiseen paikkoihin, joihin silmäsi eivät näe. Se on myös erittäin hyödyllinen kadonneiden esineiden löytämiseen ; voit liikutella puhelintasi huoneessa ja pyytää sitä hälyttämään, kun se havaitsee esimerkiksi lattialle pudonneen korvanapin tai pippurisirottajan keittiössä, joka on täynnä purkkeja.
Lisäksi työkalu sukeltaa subjektiivisempiin ja esteettisempiin alueisiin. Guided Vision tunnistaa kuvioita, muotoja ja värejä , joten voit kysyä siltä, sopiiko raidallinen paita tiettyjen housujen kanssa tai yksinkertaisesti selvittää, minkä värinen vaate on. Se voi jopa antaa yleiskuvauksen tuntemattomasta huoneesta tai tunnistaa pöydällä olevat esineet.
Android-kokoonpano ja yhteensopivuus
Aloittaaksesi suorin tapa on avata Gemini-sovellus, siirtyä profiiliasetuksiin ja ottaa käyttöön Live Guided Vision -toiminto. Kun olet tehnyt tämän, avaa Gemini Live ja jaa kamerasyöte. Niille, jotka haluavat vielä nopeampaa käyttöä, Google on lisännyt mahdollisuuden luoda pikakuvakkeen Esteettömyys (Vision) -valikosta, jolloin voit aktivoida sen kahden sormen eleillä, kelluvalla painikkeella tai painamalla molempia äänenvoimakkuuspainikkeita samanaikaisesti.
Teknisten vaatimusten osalta ominaisuus toimii sujuvasti laitteilla, joissa on Android 9 tai uudempi käyttöjärjestelmä , edellyttäen, että Gemini Live on saatavilla käyttäjän kielellä ja alueella. On tärkeää, että sekä käyttöjärjestelmä että Gemini-sovellus on päivitetty uusimpaan versioon . Lisäksi se on täysin integroitu Google TalkBackin kanssa näkövammaisten käyttäjien itsenäisyyden maksimoimiseksi.
Kehitysprosessi ja turvallisuusvaroitukset
Tämä läpimurto ei ollut sattumaa, vaan pikemminkin tiiviin yhteistyön tulos visuaalisen tulkinnan asiantuntijan Airan kanssa . Järjestelmän luotettavuuden varmistamiseksi käytettiin tuhansia tunteja reaalimaailman dataa sekä yli 1 000 Trusted Tester -verkoston testaajan tukea . Näin varmistettiin, että tekoäly ymmärsi, mitä tietoa ihminen todella tarvitsee arkipäivän tilanteessa.
Yhdessä asiassa Google on kuitenkin ehdoton: tämä työkalu ei ole lääkinnällinen laite eikä turvajärjestelmä. Yritys varoittaa, että Guided Vision voi tehdä virheitä, eikä sitä siksi tule käyttää kaduilla navigointiin , esteiden havaitsemiseen polulla tai opaskoiran tai kävelykepin korvaamiseen. Sen tarkoitus on täydentävä visuaalinen apu , ei turvallinen liikkumisen ohjaus.
Tämä reaaliaikaisen näön integrointi merkitsee paradigman muutosta, jossa emme enää sopeudu puhelimen käyttöliittymään, vaan tekoäly mukautuu ympäristöömme. Yhdistämällä edistyneen visuaalisen tunnistuksen luonnolliseen äänikäyttöliittymään Google muuttaa matkapuhelimen älykkääksi kumppaniksi, joka pystyy lukemaan, tunnistamaan ja ohjaamaan käyttäjää missä tahansa arkipäivän tilanteessa.