- Valós idejű hangos leírásokat tesz lehetővé a kamera és a Gemini Live segítségével.
- Ez magában foglalja a mobileszköz keretezésében való segítséget és a további kérdések feltevését.
- Úgy tervezték, hogy segítsen a vakok vagy gyengénlátók számára.
- Android 9 vagy újabb verziót igényel, és nem helyettesíti a hagyományos mozgássegítő eszközöket.
Képzeld el, hogy valakit hordasz a zsebedben, aki pontosan leírja, mi történik körülötted valós időben. Nos, lényegében ezt tette a Google az integrálásával Vezetett látás a Gemini Live-on belülEz a funkció szakít a hagyományos kérdésírás és a válaszra várakozás dinamikájával, és most lehetővé teszi számunkra, hogy egyszerűen a kamera lencséjén keresztül megmutatva a világot interakcióba lépjünk a mesterséges intelligenciával.
Ez az eszköz nem egy egyszerű statikus fotóelemző, hanem egy folyékony és dinamikus beszélgetés számítógépes látáson alapul. Bár hatalmas lehetőségeket rejt magában mindazok számára, akiknek segítségre van szükségük a vizuális részletekkel kapcsolatban, a lényege és létjogosultsága a akadálymentesítés vakok számára vagy csökkent látásúak számára, akik precíz hangutasításokkal igyekeznek a környezetet sokkal érthetőbbé és kezelhetőbbé tenni.
Hogyan működik pontosan ez a technológia?
A folyamat meglehetősen egyszerű: a felhasználó aktiválja a funkciót, és ossza meg a kamerajelet a Gemini Live-pal. Innentől kezdve a mesterséges intelligencia elemzi az élő képet, és a felhasználó bármit megkérdezhet a látottakkal kapcsolatban. A legerősebb funkciója, hogy lehetővé teszi a következőket: nyomon követő kérdéseketMás szóval, ha a Gemini azonosít egy konzerv lekvárt, azonnal megkérdezheted tőle, hogy mi a lejárati dátuma, vagy milyen összetevőket tartalmaz, anélkül, hogy újra kellene kezdened a lekérdezést.
Más eszközökkel ellentétben a Vezetett Látás képes irányítsa a mobiltelefon képkivágásátHa az eszköz túl magasra, túl közel a tárgyhoz, vagy kissé eltolódott a középponttól, az asszisztens szóbeli utasításokat ad a javításhoz. állítsa be a telefon pozíciójátEz biztosítja, hogy a mesterséges intelligencia rendelkezzen a szükséges vizuális információkkal, hogy elkerülje a hibákat a leírásban.
Gyakorlati eszközök a mindennapi élethez
Az alkalmazások hihetetlenül változatosak, és olyan mindennapi problémákat érintenek, amelyeket néha kihívást jelentenek számunkra. Például ideális a következőkhöz: kisbetűk olvasása a tápértéktáblázaton vagy a gyógyszeres tájékoztatókon, ahol nem látható. Nagyon hasznos a következőkhöz is: elveszett tárgyak megtalálásaMozgathatod a telefont a szobában, és kérheted, hogy figyelmeztessen, ha például egy padlóra esett fülhallgatót vagy egy befőttesüvegekkel teli konyhában leejtett borsszórót észlel.
Továbbá az eszköz szubjektívebb és esztétikaibb területekre is kiterjed. A Vezetett Látás képes felismerni minták, formák és színekMegkérdezheted tőle, hogy egy csíkos ing jól illik-e egy bizonyos nadrághoz, vagy egyszerűen csak megtudhatod, milyen színű egy ruhadarab. Még egyet is tud csinálni a tartózkodás általános leírása ismeretlen vagy részletezi, hogy milyen dolgok pihennek az asztalon.
Android konfiguráció és kompatibilitás
A kezdéshez a legközvetlenebb mód a Gemini alkalmazás megnyitása, a profilbeállítások megnyitása és válassza ki az irányított látás használatára vonatkozó opciót élőben. Ha ez megtörtént, egyszerűen nyissa meg a Gemini Live alkalmazást, és ossza meg a kamerát. Azok számára, akik nagyobb sebességre vágynak, a Google lehetőséget kínál egy közvetlen hozzáférés az Akadálymentesítés menüből (Vizuális asszisztens), amely lehetővé teszi két ujjas mozdulatokkal, a lebegő gombbal vagy mindkét hangerőszabályzó gomb egyidejű megnyomásával történő aktiválását.
Ami a technikai követelményeket illeti, a funkció zökkenőmentesen fut az alábbi eszközökön: Android 9 vagy újabb verziókfeltéve, hogy a Gemini Live elérhető a felhasználó nyelvén és régiójában. Elengedhetetlen, hogy mind az operációs rendszer, mind a Gemini alkalmazás meglegyen. frissítve a legújabb verzióraTovábbá, teljes mértékben integrálva lett a Google TalkBack hogy maximalizálja a látássérült felhasználók autonómiáját.
A fejlesztési folyamat és a biztonsági figyelmeztetések
Ez a fejlődés nem a véletlennek, hanem a szoros együttműködésnek köszönhető. Aira, a vizuális interpretáció szakértőjeA rendszer valódi megbízhatóságának biztosítása érdekében több ezer órányi valós adatot és több mint ... támogatását használták fel. 1.000 tesztelő a Megbízható Tesztelők hálózatábólannak biztosítása, hogy a mesterséges intelligencia megértse, hogy egy személynek milyen információkra van valójában szüksége egy mindennapi helyzetben.
Van azonban egy pont, ahol a Google hajthatatlan: ez az eszköz ez nem orvostechnikai eszköz sem biztonsági rendszer. A cég figyelmeztet, hogy a Guided Vision hibákat követhet el, és ezért... Navigációra nem szabad használni. az utcán, akadályokat észlel az úton, vagy helyettesítheti a vakvezető kutya vagy a bot funkcióját. Célja a kiegészítő vizuális segítségnyújtásnem a biztonságos mobilitási útmutató.
A valós idejű látás integrációja paradigmaváltást jelent, ahol már nem a telefon kezelőfelületéhez alkalmazkodunk, hanem a mesterséges intelligencia alkalmazkodik a környezetünkhöz. A fejlett vizuális felismerés és a természetes hangalapú felület kombinálásával a Google a mobiltelefont egy… intelligens társ képes olvasni, azonosítani és eligazítani a felhasználót bármilyen mindennapi helyzetben.