- 它可以透過相機和 Gemini Live 實現即時音訊描述。
- 其中包括協助調整行動裝置的角度以及提出後續問題。
- 它被設計成一款方便盲人或視力障礙人士使用的工具。
- 需要 Android 9 或更高版本，且不能取代傳統的助行裝置。
想像一下，如果能把一個人裝進口袋，即時描述你周圍發生的一切，那該有多棒？谷歌透過將引導視覺功能整合到 Gemini Live 中，基本上實現了這一點。這項功能打破了傳統的提問等待答案的模式，現在我們只需透過攝影機向人工智慧展示周圍世界，就能與之互動。
這款工具並非簡單的靜態照片分析器；它基於電腦視覺技術，提供流暢、動態的對話體驗。雖然它對任何需要視覺細節輔助的人都具有巨大的潛力，但其核心目標是為盲人或視障人士提供無障礙服務，旨在透過精準的語音指令，使他們更容易理解和使用各種環境。
這項技術究竟是如何運作的？
操作流程非常簡單：使用者啟動該功能並將相機訊號共享給 Gemini Live。之後，人工智慧會分析即時影像，使用者可以就所見內容提出任何問題。其最強大的功能在於支援後續問題；也就是說，如果 Gemini 識別出一罐果醬，您可以立即詢問其保質期或成分，而無需重新開始查詢。
與其他工具不同，引導式視覺功能可以引導手機的取景。如果裝置指向過高、離物體過近或稍微偏離中心，助理會發出語音提示來調整手機的位置。這確保了人工智慧擁有必要的視覺訊息，從而避免描述錯誤。
日常生活實用工具
這些應用種類繁多，可以解決日常生活中一些棘手的問題。例如，它非常適合閱讀肉眼無法看清的營養標籤或藥品說明書上的小字。它在尋找遺失物品方面也非常有用；你可以移動手機，讓它在檢測到例如掉在地上的耳機或堆滿罐子的廚房裡的胡椒瓶時發出警報。
此外，該工具還能深入探索更主觀和美學的領域。引導視覺可以識別圖案、形狀和顏色，因此您可以詢問它條紋襯衫是否與特定褲子搭配，或簡單地找出衣服的顏色。它甚至可以對陌生的房間進行大致描述，或識別桌子上的物品。
Android 配置和相容性
首先，最直接的方法是開啟 Gemini 應用，進入個人資料設置，啟用「即時引導視覺」選項。啟用後，只需開啟 Gemini Live 並分享您的相機畫面即可。為了方便使用者更快地使用，Google 還提供了在「輔助功能（視覺）」選單中建立快捷方式的功能，您可以透過雙指手勢、懸浮按鈕或同時按下兩個音量鍵來啟動功能。
技術要求方面，此功能可在運行Android 9 或更高版本的裝置上流暢運行，前提是 Gemini Live 應用程式支援使用者的語言和地區。作業系統和 Gemini 應用都必須更新至最新版本。此外，它還與Google TalkBack完全集成，最大限度地提升視障用戶的獨立性。
開發過程和安全警告
這項突破並非偶然，而是與視覺解讀專家Aira密切合作的結果。為了確保系統的可靠性，使用了數千小時的真實世界數據，並得到了來自Trusted Tester網路的1.000多名測試人員的支持，從而保證了人工智慧能夠理解人們在日常生活中真正需要的資訊。
然而，Google在一點上態度堅決：這項工具既不是醫療設備，也不是安全系統。該公司警告說，Guided Vision 可能會出錯，因此不應用於街道導航、偵測路徑障礙物或替代導盲犬或盲杖的功能。它的用途是提供輔助視覺功能，而非安全出行引導。
即時視覺技術的融合標誌著一種範式轉變：我們不再需要適應手機介面，而是人工智慧適應我們的環境。透過將先進的視覺識別技術與自然語音介面相結合，Google將手機轉變為智慧助手，能夠在任何日常情境中讀取資訊、識別身份並引導用戶。