- Umożliwia korzystanie z audiodeskrypcji w czasie rzeczywistym za pośrednictwem kamery i Gemini Live.
- Obejmuje pomoc w skonfigurowaniu urządzenia mobilnego i zadawaniu pytań dodatkowych.
- Jest to narzędzie ułatwiające dostęp osobom niewidomym i słabowidzącym.
- Wymaga systemu Android 9 lub nowszego. Nie zastępuje tradycyjnych pomocy wspomagających mobilność.
Wyobraź sobie, że możesz nosić w kieszeni kogoś, kto może dokładnie opisać, co dzieje się wokół Ciebie w czasie rzeczywistym. Właśnie to zrobił Google, integrując funkcję Guided Vision z Gemini Live – funkcję, która zrywa z tradycyjną dynamiką wpisywania pytania i oczekiwania na odpowiedź, pozwalając nam teraz na interakcję ze sztuczną inteligencją poprzez pokazanie jej świata przez obiektyw aparatu.
To narzędzie to nie tylko statyczny analizator zdjęć; oferuje ono płynną i dynamiczną konwersację opartą na wizji komputerowej. Choć ma ogromny potencjał dla każdego, kto potrzebuje pomocy w zrozumieniu szczegółów wizualnych, jego głównym celem jest zapewnienie dostępności dla osób niewidomych lub niedowidzących , a jego celem jest uczynienie otoczenia znacznie bardziej zrozumiałym i łatwiejszym w obsłudze dzięki precyzyjnym instrukcjom głosowym.
Jak dokładnie działa ta technologia?
Proces jest dość prosty: użytkownik aktywuje funkcję i udostępnia sygnał z kamery aplikacji Gemini Live. Następnie sztuczna inteligencja analizuje obraz na żywo, a użytkownik może zadać dowolne pytanie dotyczące tego, co widzi. Najważniejszą funkcją jest możliwość zadawania pytań uzupełniających – np. jeśli Gemini zidentyfikuje słoik z przetworami, można od razu zapytać o datę ważności lub składniki bez konieczności ponownego uruchamiania zapytania.
W przeciwieństwie do innych narzędzi, funkcja Guided Vision może sterować kadrowaniem telefonu . Jeśli urządzenie jest skierowane zbyt wysoko, zbyt blisko obiektu lub lekko przesunięte względem środka, asystent głosowo poda wskazówki dotyczące dostosowania położenia telefonu . Dzięki temu sztuczna inteligencja ma niezbędne informacje wizualne, co pozwala uniknąć błędów w opisie.
Praktyczne narzędzia do codziennego życia
Aplikacje są niezwykle zróżnicowane i sprawdzają się w codziennych sytuacjach, które bywają trudne. Idealnie nadaje się na przykład do czytania drobnego druku na etykietach produktów spożywczych lub ulotkach leków, gdy gołym okiem go nie widać. Jest również bardzo przydatny do lokalizowania zgubionych przedmiotów ; możesz przesuwać telefon po pokoju i poprosić go o powiadomienie, gdy wykryje na przykład słuchawkę, która upadła na podłogę, lub pieprzniczkę w kuchni pełnej słoików.
Co więcej, narzędzie zagłębia się w bardziej subiektywne i estetyczne sfery. System Guided Vision potrafi rozpoznawać wzory, kształty i kolory , dzięki czemu można go zapytać, czy koszula w paski pasuje do konkretnych spodni, lub po prostu dowiedzieć się, jaki jest kolor ubrania. Potrafi nawet podać ogólny opis nieznanego pomieszczenia lub zidentyfikować przedmioty na stole.
Konfiguracja i zgodność Androida
Aby rozpocząć, najprostszym sposobem jest otwarcie aplikacji Gemini, przejście do ustawień profilu i włączenie opcji Live Guided Vision. Po wykonaniu tej czynności wystarczy otworzyć Gemini Live i udostępnić transmisję z kamery. Dla tych, którzy szukają jeszcze szybszego dostępu, Google dodało opcję utworzenia skrótu w menu Ułatwienia dostępu (Widoczność), umożliwiającą aktywację za pomocą gestów dwoma palcami, przycisku pływającego lub jednoczesnego naciśnięcia obu przycisków głośności.
Jeśli chodzi o wymagania techniczne, funkcja działa płynnie na urządzeniach z systemem Android 9 lub nowszym , pod warunkiem dostępności Gemini Live w języku i regionie użytkownika. Konieczne jest zaktualizowanie zarówno systemu operacyjnego, jak i aplikacji Gemini do najnowszej wersji . Co więcej, funkcja jest w pełni zintegrowana z Google TalkBack, aby zapewnić użytkownikom z wadami wzroku maksymalną niezależność.
Proces rozwoju i ostrzeżenia dotyczące bezpieczeństwa
Ten przełom nie był dziełem przypadku, lecz wynikiem ścisłej współpracy z firmą Aira, ekspertami w dziedzinie interpretacji wizualnej . Aby zapewnić niezawodność systemu, wykorzystano tysiące godzin danych z rzeczywistego świata oraz wsparcie ponad 1.000 testerów z sieci Trusted Tester , gwarantując, że sztuczna inteligencja rozumie, jakich informacji człowiek naprawdę potrzebuje w codziennej sytuacji.
Google jest jednak stanowcze w jednej kwestii: to narzędzie nie jest ani urządzeniem medycznym, ani systemem bezpieczeństwa. Firma ostrzega, że Guided Vision może popełniać błędy i dlatego nie powinno być używane do nawigacji po ulicach, wykrywania przeszkód na drodze ani zastępowania psa przewodnika lub laski. Jego celem jest dodatkowa pomoc wizualna , a nie bezpieczne prowadzenie w ruchu.
Ta integracja wizji w czasie rzeczywistym oznacza zmianę paradygmatu, w którym to nie my dostosowujemy się do interfejsu telefonu, lecz sztuczna inteligencja dostosowuje się do naszego otoczenia. Łącząc zaawansowane rozpoznawanie obrazu z naturalnym interfejsem głosowym, Google przekształca telefon komórkowy w inteligentnego towarzysza , który potrafi czytać, identyfikować i prowadzić użytkownika w każdej codziennej sytuacji.