- 它可以通过摄像头和 Gemini Live 实现实时音频描述。
- 其中包括协助调整移动设备的角度以及提出后续问题。
- 它被设计成一款方便盲人或视力障碍人士使用的工具。
- 需要 Android 9 或更高版本，并且不能取代传统的助行设备。
想象一下，如果能把一个人装进口袋，实时描述你周围发生的一切，那该有多棒？谷歌通过将引导视觉功能集成到 Gemini Live 中，基本上实现了这一点。这项功能打破了传统的提问等待答案的模式，现在我们只需通过摄像头向人工智能展示周围世界，就能与之互动。
这款工具并非简单的静态照片分析器；它基于计算机视觉技术，提供流畅、动态的对话体验。虽然它对任何需要视觉细节辅助的人都具有巨大的潜力，但其核心目标是为盲人或视障人士提供无障碍服务，旨在通过精准的语音指令，使他们更容易理解和使用各种环境。
这项技术究竟是如何运作的？
操作流程非常简单：用户激活该功能并将摄像头信号共享给 Gemini Live。之后，人工智能会分析实时图像，用户可以就所见内容提出任何问题。其最强大的功能在于支持后续提问；也就是说，如果 Gemini 识别出一罐果酱，您可以立即询问其保质期或成分，而无需重新开始查询。
与其他工具不同，引导式视觉功能可以引导手机的取景。如果设备指向过高、离物体过近或略微偏离中心，助手会发出语音提示来调整手机的位置。这确保了人工智能拥有必要的视觉信息，从而避免描述错误。
日常生活实用工具
这些应用种类繁多，可以解决日常生活中一些棘手的问题。例如，它非常适合阅读肉眼无法看清的营养标签或药品说明书上的小字。它在寻找丢失物品方面也非常有用；你可以移动手机，让它在检测到例如掉在地上的耳机或堆满罐子的厨房里的胡椒瓶时发出警报。
此外，该工具还能深入探索更主观和美学的领域。引导视觉可以识别图案、形状和颜色，因此您可以询问它条纹衬衫是否与特定裤子搭配，或者简单地找出衣服的颜色。它甚至可以对陌生的房间进行大致描述，或识别桌子上的物品。
Android 配置和兼容性
首先，最直接的方法是打开 Gemini 应用，进入个人资料设置，启用“实时引导视觉”选项。启用后，只需打开 Gemini Live 并分享您的摄像头画面即可。为了方便用户更快地使用，Google 还提供了在“辅助功能（视觉）”菜单中创建快捷方式的功能，您可以通过双指手势、悬浮按钮或同时按下两个音量键来激活该功能。
技术要求方面，该功能可在运行Android 9 或更高版本的设备上流畅运行，前提是 Gemini Live 应用支持用户的语言和地区。操作系统和 Gemini 应用都必须更新至最新版本。此外，它还与Google TalkBack完全集成，最大限度地提升视障用户的独立性。
开发过程和安全警告
这一突破并非偶然，而是与视觉解读专家Aira密切合作的结果。为了确保系统的可靠性，使用了数千小时的真实世界数据，并得到了来自Trusted Tester网络的1.000多名测试人员的支持，从而保证了人工智能能够理解人们在日常生活中真正需要的信息。
然而，谷歌在一点上态度坚决：这项工具既不是医疗设备，也不是安全系统。该公司警告说，Guided Vision 可能会出错，因此不应用于街道导航、检测路径障碍物或替代导盲犬或盲杖的功能。它的用途是提供辅助视觉功能，而非安全出行引导。
实时视觉技术的融合标志着一种范式转变：我们不再需要适应手机界面，而是人工智能适应我们的环境。通过将先进的视觉识别技术与自然语音界面相结合，谷歌将手机转变为智能助手，能够在任何日常情境中读取信息、识别身份并引导用户。