- Umożliwia korzystanie z audiodeskrypcji w czasie rzeczywistym za pośrednictwem kamery i Gemini Live.
- Obejmuje pomoc w skonfigurowaniu urządzenia mobilnego i zadawaniu pytań dodatkowych.
- Jest to narzędzie ułatwiające dostęp osobom niewidomym i słabowidzącym.
- Wymaga systemu Android 9 lub nowszego. Nie zastępuje tradycyjnych pomocy wspomagających mobilność.
Wyobraź sobie, że możesz nosić w kieszeni kogoś, kto dokładnie opisuje, co dzieje się wokół Ciebie w czasie rzeczywistym. Cóż, właśnie to zrobił Google, integrując Wizja kierowana w Gemini LiveFunkcjonalność ta zrywa z tradycyjną dynamiką pisania pytania i oczekiwania na odpowiedź, pozwalając nam teraz na interakcję ze sztuczną inteligencją poprzez pokazanie jej świata przez obiektyw aparatu.
To narzędzie nie jest prostym statycznym analizatorem zdjęć, lecz raczej proponuje płynna i dynamiczna rozmowa Oparta na wizji komputerowej. Choć ma ogromny potencjał dla każdego, kto potrzebuje pomocy w zakresie szczegółów wizualnych, jej sercem i racją bytu jest dostępność dla osób niewidomych lub ze słabszą ostrością wzroku, starając się uczynić otoczenie bardziej zrozumiałym i łatwiejszym w zarządzaniu za pomocą precyzyjnych instrukcji dźwiękowych.
Jak dokładnie działa ta technologia?
Proces jest dość prosty: użytkownik aktywuje funkcję i udostępnij sygnał kamery z Gemini Live. Stamtąd sztuczna inteligencja analizuje obraz na żywo, a użytkownik może zadać dowolne pytanie dotyczące tego, co widzi. Najważniejszą funkcją jest to, że pozwala na… pytania dodatkoweInnymi słowy, jeśli Gemini zidentyfikuje puszkę przetworów, możesz od razu zapytać go o datę ważności lub o składniki, które zawiera, bez konieczności ponownego uruchamiania zapytania.
W przeciwieństwie do innych narzędzi, Guided Vision jest w stanie kierować kadrowaniem telefonu komórkowegoJeśli urządzenie jest skierowane zbyt wysoko, zbyt blisko obiektu lub lekko niecentralnie, asystent udzieli Ci wskazówek głosowych, abyś to skorygował. dostosuj położenie telefonuDzięki temu sztuczna inteligencja ma dostęp do niezbędnych informacji wizualnych, co pozwala jej uniknąć błędów w opisie.
Praktyczne narzędzia do codziennego życia
Aplikacje są niezwykle zróżnicowane i poruszają bardzo codzienne problemy, które czasem wydają nam się trudne. Na przykład, idealnie nadaje się do czytaj małe litery na etykietach żywieniowych lub ulotkach leków, gdzie nie jest to widoczne. Jest to również bardzo przydatne zlokalizować zgubione przedmiotyMożesz przesuwać telefon po pokoju i poprosić go o wysłanie alertu, gdy wykryje na przykład słuchawkę, która upadła na podłogę lub pieprzniczkę w kuchni pełnej słoików.
Co więcej, narzędzie to zagłębia się w bardziej subiektywny i estetyczny obszar. Wizje kierowane potrafią rozpoznawać wzory, kształty i koloryMożesz więc zapytać ją, czy koszula w paski pasuje do konkretnych spodni, albo po prostu dowiedzieć się, jaki jest kolor ubrania. Może nawet… ogólny opis pobytu nieznany lub szczegółowy opis tego, co leży na stole.
Konfiguracja i zgodność Androida
Aby rozpocząć, najprostszym sposobem jest otwarcie aplikacji Gemini, przejście do ustawień profilu i wybierz opcję korzystania z wizji kierowanej na żywo. Po wykonaniu tej czynności wystarczy otworzyć Gemini Live i udostępnić kamerę. Dla tych, którzy szukają większej szybkości, Google dodało opcję tworzenia bezpośredni dostęp z menu Ułatwienia dostępu (pomoc wizualna), którą można aktywować za pomocą gestów wykonanych dwoma palcami, przycisku pływającego lub naciskając jednocześnie oba przyciski głośności.
Jeśli chodzi o wymagania techniczne, funkcja działa płynnie na urządzeniach z Android 9 lub nowsze wersjePod warunkiem, że aplikacja Gemini Live jest dostępna w języku i regionie użytkownika. Wymagane jest posiadanie zarówno systemu operacyjnego, jak i aplikacji Gemini. zaktualizowany do najnowszej wersjiCo więcej, został on w pełni zintegrowany z Google TalkBack aby zmaksymalizować autonomię użytkowników z dysfunkcją wzroku.
Proces rozwoju i ostrzeżenia dotyczące bezpieczeństwa
Postęp ten nie był wynikiem przypadku, lecz ścisłej współpracy Aira, eksperci w interpretacji wizualnejAby zapewnić niezawodność systemu, wykorzystano tysiące godzin danych z rzeczywistego świata i wsparcie ponad 1.000 testerów z sieci Trusted Testerzapewnienie, że sztuczna inteligencja rozumie, jakich informacji człowiek naprawdę potrzebuje w codziennej sytuacji.
Jest jednak jeden punkt, w którym Google jest nieugięty: to narzędzie to nie jest wyrób medyczny ani systemu bezpieczeństwa. Firma ostrzega, że Guided Vision może popełniać błędy, dlatego Nie należy go używać do nawigacji. na ulicy, wykrywać przeszkody na drodze lub zastępować funkcję psa przewodnika lub laski. Jego celem jest dodatkowa pomoc wizualnanie jest przewodnikiem po bezpiecznej mobilności.
Ta integracja wizji w czasie rzeczywistym oznacza zmianę paradygmatu, w którym to nie my dostosowujemy się do interfejsu telefonu, lecz sztuczna inteligencja dostosowuje się do naszego otoczenia. Łącząc zaawansowane rozpoznawanie obrazu z naturalnym interfejsem głosowym, Google przekształca telefon komórkowy w… inteligentny towarzysz zdolny do odczytywania, identyfikowania i kierowania użytkownikiem w każdej codziennej sytuacji.