- Fitur ini memungkinkan deskripsi audio secara real-time melalui kamera dan Gemini Live.
- Ini termasuk bantuan dalam membingkai perangkat seluler dan mengajukan pertanyaan lanjutan.
- Ini dirancang sebagai alat bantu aksesibilitas bagi penyandang tunanetra atau gangguan penglihatan.
- Membutuhkan Android 9 atau lebih tinggi dan tidak menggantikan alat bantu mobilitas tradisional.
Bayangkan Anda bisa membawa seseorang di saku Anda yang dapat menjelaskan dengan tepat apa yang terjadi di sekitar Anda secara real-time. Nah, pada dasarnya itulah yang telah dilakukan Google dengan mengintegrasikan Guided Vision ke dalam Gemini Live , sebuah fitur yang mematahkan dinamika tradisional mengetik pertanyaan dan menunggu jawaban, kini memungkinkan kita untuk berinteraksi dengan kecerdasan buatan hanya dengan menunjukkan dunia kepadanya melalui lensa kamera.
Alat ini bukan sekadar penganalisis foto statis; alat ini menawarkan percakapan yang lancar dan dinamis berdasarkan visi komputer. Meskipun memiliki potensi yang sangat besar bagi siapa pun yang membutuhkan bantuan dengan detail visual, tujuan utamanya adalah aksesibilitas bagi individu tunanetra atau yang memiliki gangguan penglihatan , dengan tujuan membuat lingkungan jauh lebih mudah dipahami dan dikelola melalui instruksi audio yang tepat.
Bagaimana sebenarnya teknologi ini bekerja?
Prosesnya cukup sederhana: pengguna mengaktifkan fitur tersebut dan membagikan sinyal kamera dengan Gemini Live. Dari situ, AI menganalisis gambar langsung, dan pengguna dapat menanyakan apa pun tentang apa yang mereka lihat. Fitur yang paling ampuh adalah kemampuannya untuk mengajukan pertanyaan lanjutan ; yaitu, jika Gemini mengidentifikasi stoples selai, Anda dapat langsung menanyakan tentang tanggal kedaluwarsa atau bahan-bahannya tanpa harus memulai pertanyaan ulang.
Tidak seperti alat lain, Guided Vision dapat memandu pembingkaian ponsel . Jika perangkat mengarah terlalu tinggi, terlalu dekat dengan objek, atau sedikit melenceng dari tengah, asisten akan memberikan isyarat verbal untuk menyesuaikan posisi ponsel . Hal ini memastikan AI memiliki informasi visual yang diperlukan untuk menghindari kesalahan dalam deskripsinya.
Alat praktis untuk kehidupan sehari-hari
Aplikasi-aplikasinya sangat beragam dan mengatasi situasi sehari-hari yang terkadang menantang. Misalnya, sangat ideal untuk membaca tulisan kecil pada label nutrisi atau brosur obat di tempat yang sulit dilihat mata. Aplikasi ini juga sangat berguna untuk menemukan benda yang hilang ; Anda dapat menggerakkan ponsel Anda di sekitar ruangan dan memintanya untuk memberi tahu Anda ketika mendeteksi, misalnya, earbud yang jatuh ke lantai atau tempat merica di dapur yang penuh dengan stoples.
Selain itu, alat ini juga menyelami ranah yang lebih subjektif dan estetis. Guided Vision dapat mengenali pola, bentuk, dan warna , sehingga Anda dapat menanyakan apakah kemeja bergaris cocok dengan celana tertentu atau sekadar mencari tahu warna suatu pakaian. Alat ini bahkan dapat memberikan deskripsi umum tentang ruangan yang tidak dikenal atau mengidentifikasi barang-barang di atas meja.
Konfigurasi dan kompatibilitas Android
Untuk memulai, cara paling mudah adalah dengan membuka aplikasi Gemini, masuk ke pengaturan profil Anda, dan mengaktifkan opsi untuk menggunakan Live Guided Vision. Setelah itu, cukup buka Gemini Live dan bagikan tayangan kamera Anda. Bagi yang menginginkan akses lebih cepat, Google telah menyertakan opsi untuk membuat pintasan dari menu Aksesibilitas (Vision), yang memungkinkan Anda mengaktifkannya dengan gerakan dua jari, tombol mengambang, atau dengan menekan kedua tombol volume secara bersamaan.
Mengenai persyaratan teknis, fitur ini berjalan lancar pada perangkat dengan Android 9 atau yang lebih baru , asalkan Gemini Live tersedia dalam bahasa dan wilayah pengguna. Sangat penting untuk memperbarui sistem operasi dan aplikasi Gemini ke versi terbaru . Selain itu, fitur ini terintegrasi penuh dengan Google TalkBack untuk memaksimalkan kemandirian bagi pengguna dengan gangguan penglihatan.
Proses pengembangan dan peringatan keselamatan
Terobosan ini bukanlah kebetulan, melainkan hasil kolaborasi erat dengan Aira, para ahli dalam interpretasi visual . Untuk memastikan keandalan sistem, ribuan jam data dunia nyata digunakan, bersama dengan dukungan lebih dari 1.000 penguji dari jaringan Trusted Tester , yang menjamin bahwa AI memahami informasi apa yang benar-benar dibutuhkan seseorang dalam situasi sehari-hari.
Namun, ada satu poin yang ditekankan Google: alat ini bukanlah perangkat medis maupun sistem keselamatan. Perusahaan memperingatkan bahwa Guided Vision dapat membuat kesalahan dan, oleh karena itu, tidak boleh digunakan untuk menavigasi jalan, mendeteksi rintangan di jalan, atau menggantikan fungsi anjing pemandu atau tongkat. Tujuannya adalah bantuan visual tambahan , bukan panduan mobilitas yang aman.
Integrasi visi waktu nyata ini menandai pergeseran paradigma di mana kita tidak lagi beradaptasi dengan antarmuka ponsel, melainkan AI yang beradaptasi dengan lingkungan kita. Dengan menggabungkan pengenalan visual canggih dengan antarmuka suara alami, Google mengubah ponsel menjadi pendamping cerdas yang mampu membaca, mengidentifikasi, dan membimbing pengguna dalam situasi sehari-hari apa pun.