- Valós idejű hangos leírásokat tesz lehetővé a kamera és a Gemini Live segítségével.
- Ez magában foglalja a mobileszköz keretezésében való segítséget és a további kérdések feltevését.
- Úgy tervezték, hogy segítsen a vakok vagy gyengénlátók számára.
- Android 9 vagy újabb verziót igényel, és nem helyettesíti a hagyományos mozgássegítő eszközöket.
Képzeld el, hogy a zsebedben hordasz valakit, aki pontosan le tudja írni, mi történik körülötted valós időben. Nos, lényegében ezt tette a Google a Gemini Live-ba integrált Guided Vision funkcióval, amely szakít a hagyományos kérdésbeírás és a válaszra várakozás dinamikájával, és most lehetővé teszi számunkra, hogy a mesterséges intelligenciával egyszerűen azáltal lépjünk interakcióba, hogy a kamera lencséjén keresztül megmutatjuk neki a világot.
Ez az eszköz nem csupán egy statikus fotóelemző; gördülékeny és dinamikus párbeszédet kínál a számítógépes látás alapján. Bár hatalmas lehetőségeket rejt magában mindazok számára, akiknek segítségre van szükségük a vizuális részletekkel kapcsolatban, fő célja a vak vagy gyengénlátó egyének számára való hozzáférhetőség , a környezet sokkal érthetőbbé és kezelhetőbbé tétele precíz hangutasításokon keresztül.
Hogyan működik pontosan ez a technológia?
A folyamat meglehetősen egyszerű: a felhasználó aktiválja a funkciót, és megosztja a kamera jelét a Gemini Live-pal. Innentől kezdve a mesterséges intelligencia elemzi az élő képet, és a felhasználó bármit megkérdezhet a látottakkal kapcsolatban. A legerősebb funkció, hogy lehetővé teszi a további kérdéseket ; azaz, ha a Gemini azonosít egy befőttesüveget, azonnal megkérdezhetjük a lejárati dátumról vagy az összetevőkről anélkül, hogy újra kellene kezdeni a lekérdezést.
Más eszközökkel ellentétben a Guided Vision képes irányítani a telefon képkivágását . Ha az eszköz túl magasra, túl közel van a tárgyhoz, vagy kissé eltolódott a középponttól, az asszisztens szóbeli utasításokat ad a telefon pozíciójának módosításához . Ez biztosítja, hogy a mesterséges intelligencia rendelkezzen a szükséges vizuális információkkal a leírások hibáinak elkerülése érdekében.
Gyakorlati eszközök a mindennapi élethez
Az alkalmazások hihetetlenül változatosak, és olyan mindennapi helyzeteket is lefednek, amelyek néha kihívást jelenthetnek. Ideális például a tápértéktáblázatok vagy a gyógyszeres tájékoztatók apró betűs részeinek elolvasásához , amelyeket a szem nem lát. Elveszett tárgyak felkutatására is nagyon hasznos ; a telefont körbe-körbe mozgathatja a szobában, és kérheti, hogy figyelmeztessen, ha például egy padlóra esett fülhallgatót vagy egy befőttesüvegekkel teli konyhában leesett borsszórót észlel.
Továbbá az eszköz szubjektívebb és esztétikai területekre is betekintést nyújt. A Guided Vision képes felismerni a mintákat, formákat és színeket , így megkérdezheted tőle, hogy egy csíkos ing jól illik-e egy adott nadrághoz, vagy egyszerűen csak megtudhatod, milyen színű egy ruhadarab. Akár egy ismeretlen szoba általános leírását is képes adni, vagy azonosítani az asztalon lévő tárgyakat.
Android konfiguráció és kompatibilitás
A kezdéshez a legközvetlenebb mód, ha megnyitod a Gemini alkalmazást, a profilbeállításaidhoz mész, és engedélyezed a Live Guided Vision használatát . Ha ezt megtetted, egyszerűen nyisd meg a Gemini Live-ot, és oszd meg a kameraképedet. Azok számára, akik még gyorsabb hozzáférést szeretnének, a Google beépített egy parancsikon létrehozásának lehetőségét az Akadálymentesítés (Látás) menüből, amely lehetővé teszi, hogy két ujjas mozdulatokkal, a lebegő gombbal vagy mindkét hangerőszabályzó gomb egyidejű megnyomásával aktiváld.
Ami a technikai követelményeket illeti, a funkció zökkenőmentesen működik Android 9 vagy újabb rendszerű eszközökön , feltéve, hogy a Gemini Live elérhető a felhasználó nyelvén és régiójában. Fontos, hogy mind az operációs rendszer, mind a Gemini alkalmazás a legújabb verzióra legyen frissítve . Továbbá, teljes mértékben integrálva van a Google TalkBack- kel , hogy maximalizálja a látássérült felhasználók függetlenségét.
A fejlesztési folyamat és a biztonsági figyelmeztetések
Ez az áttörés nem a véletlenen múlott, hanem az Aira vizuális interpretáció szakértőjével való szoros együttműködés eredménye . A rendszer megbízhatóságának biztosítása érdekében több ezer órányi valós adatot használtak fel, valamint több mint 1.000 tesztelő támogatását a Trusted Tester hálózatból , garantálva, hogy a mesterséges intelligencia megérti, hogy egy személynek valóban milyen információkra van szüksége egy mindennapi helyzetben.
Van azonban egy pont, ahol a Google hajthatatlan: ez az eszköz sem nem orvostechnikai eszköz, sem nem biztonsági rendszer. A cég figyelmeztet, hogy a Guided Vision hibákat követhet el, ezért nem szabad utcákon való navigációra, akadályok észlelésére, illetve vakvezető kutya vagy bot funkciójának helyettesítésére használni . Célja a kiegészítő vizuális segítségnyújtás , nem pedig a biztonságos mobilitásirányítás.
A valós idejű látás integrációja paradigmaváltást jelent, ahol már nem a telefon kezelőfelületéhez alkalmazkodunk, hanem a mesterséges intelligencia alkalmazkodik a környezetünkhöz. A fejlett vizuális felismerés és a természetes hangalapú felület kombinálásával a Google intelligens társsá alakítja a mobiltelefont , amely képes olvasni, azonosítani és irányítani a felhasználót bármilyen mindennapi helyzetben.