- Kamera ve Gemini Live aracılığıyla gerçek zamanlı sesli betimlemelere olanak tanır.
- Mobil cihazın çerçevelenmesinde ve ek soruların sorulmasında yardım da dahildir.
- Bu, görme engelli veya az gören kişiler için bir erişilebilirlik aracı olarak tasarlanmıştır.
- Android 9 veya üzeri bir sürüm gerektirir ve geleneksel hareketlilik yardımcılarının yerini almaz.
Cebinizde, etrafınızda olup bitenleri gerçek zamanlı olarak tam olarak tarif edebilen birini taşıyabildiğinizi hayal edin. İşte Google, Guided Vision özelliğini Gemini Live'a entegre ederek tam olarak bunu başardı . Bu özellik, soru yazıp cevap beklemekten oluşan geleneksel dinamikten sıyrılarak, yapay zekâ ile sadece kamera merceğinden dünyayı göstererek etkileşim kurmamızı sağlıyor.
Bu araç sadece statik bir fotoğraf analiz cihazı değil; bilgisayar görüşüne dayalı akıcı ve dinamik bir diyalog sunuyor . Görsel detaylarda yardıma ihtiyaç duyan herkes için muazzam bir potansiyele sahip olmakla birlikte, asıl amacı görme engelli veya az gören bireyler için erişilebilirliği sağlamak ve hassas sesli talimatlar aracılığıyla ortamı çok daha anlaşılır ve yönetilebilir hale getirmektir.
Bu teknoloji tam olarak nasıl çalışıyor?
İşlem oldukça basit: Kullanıcı özelliği etkinleştiriyor ve kameranın sinyalini Gemini Live ile paylaşıyor. Oradan itibaren yapay zeka canlı görüntüyü analiz ediyor ve kullanıcı gördükleriyle ilgili her şeyi sorabiliyor. En güçlü özelliği ise takip soruları sormaya olanak sağlaması ; yani Gemini bir kavanoz reçel tespit ederse, sorguyu yeniden başlatmaya gerek kalmadan son kullanma tarihi veya içerikleri hakkında hemen soru sorabilirsiniz.
Diğer araçlardan farklı olarak, Yönlendirilmiş Görüş, telefonun kadrajını yönlendirebilir . Cihaz çok yukarıya, nesneye çok yakına veya hafifçe merkezden uzak bir konuma doğru bakıyorsa, asistan telefonun konumunu ayarlamanız için size sözlü ipuçları verecektir . Bu, yapay zekanın açıklamasında hatalardan kaçınmak için gerekli görsel bilgilere sahip olmasını sağlar.
Günlük yaşam için pratik araçlar
Uygulama alanları inanılmaz derecede çeşitlidir ve bazen zorlayıcı olabilen günlük durumları ele alır. Örneğin, gözlerinizin göremediği yerlerdeki beslenme etiketlerindeki veya ilaç prospektüslerindeki küçük yazıları okumak için idealdir. Kayıp eşyaları bulmak için de çok kullanışlıdır ; telefonunuzu odanın içinde hareket ettirebilir ve örneğin yere düşmüş bir kulaklık veya kavanozlarla dolu bir mutfakta biberlik gibi bir şey algıladığında sizi uyarmasını isteyebilirsiniz.
Dahası, bu araç daha öznel ve estetik alanlara da giriyor. Rehberli Görüş , desenleri, şekilleri ve renkleri tanıyabiliyor ; bu sayede çizgili bir gömleğin belirli bir pantolonla uyumlu olup olmadığını sorabilir veya bir giysinin rengini öğrenebilirsiniz. Hatta bilmediğiniz bir odayı genel olarak tanımlayabilir veya bir masadaki eşyaları belirleyebilir.
Android yapılandırması ve uyumluluğu
Başlamak için en doğrudan yol, Gemini uygulamasını açmak, profil ayarlarınıza gitmek ve Canlı Rehberli Görme özelliğini etkinleştirmenizdir . Bunu yaptıktan sonra, Gemini Live'ı açın ve kamera görüntünüzü paylaşın. Daha hızlı erişim arayanlar için Google, Erişilebilirlik (Görme) menüsünden bir kısayol oluşturma seçeneği ekledi; bu sayede iki parmak hareketleriyle, kayan düğmeyle veya her iki ses düğmesine aynı anda basarak etkinleştirebilirsiniz.
Teknik gereksinimlere gelince, özellik, Gemini Live'ın kullanıcının dilinde ve bölgesinde mevcut olması koşuluyla, Android 9 veya üzeri sürümlere sahip cihazlarda sorunsuz çalışır. Hem işletim sisteminin hem de Gemini uygulamasının en son sürüme güncellenmiş olması şarttır. Ayrıca, görme engelli kullanıcılar için bağımsızlığı en üst düzeye çıkarmak amacıyla Google TalkBack ile tamamen entegre edilmiştir .
Geliştirme süreci ve güvenlik uyarıları
Bu atılım tesadüf eseri değil, görsel yorumlama konusunda uzman Aira ile yakın iş birliğinin sonucuydu . Sistemin güvenilirliğini sağlamak için, binlerce saatlik gerçek dünya verisi kullanıldı ve Trusted Tester ağından 1.000'den fazla test kullanıcısının desteğiyle yapay zekanın, bir kişinin günlük hayatta gerçekten hangi bilgilere ihtiyaç duyduğunu anlaması garanti altına alındı.
Ancak Google'ın kesin olarak belirttiği bir nokta var: Bu araç ne tıbbi bir cihaz ne de bir güvenlik sistemi. Şirket, Guided Vision'ın hatalar yapabileceğini ve bu nedenle sokaklarda gezinmek, yoldaki engelleri tespit etmek veya rehber köpek ya da bastonun işlevini yerine getirmek için kullanılmaması gerektiğini belirtiyor. Amacı , güvenli hareket rehberliği değil, tamamlayıcı görsel yardım sağlamaktır.
Gerçek zamanlı görüntülemenin bu entegrasyonu, artık telefonun arayüzüne uyum sağlamadığımız, bunun yerine yapay zekanın çevremize uyum sağladığı bir paradigma değişimini işaret ediyor. Gelişmiş görsel tanımayı doğal bir ses arayüzüyle birleştirerek, Google cep telefonunu, kullanıcının her türlü günlük durumda okuyabilen, tanımlayabilen ve yönlendirebilen akıllı bir yardımcıya dönüştürüyor.