- これにより、カメラとGemini Liveを介してリアルタイムの音声解説が可能になります。
- これには、モバイルデバイスのフレーミングに関するサポートや、フォローアップの質問への対応が含まれます。
- これは、視覚障害者や弱視者のためのアクセシビリティツールとして設計されています。
- Android 9以降が必要です。また、従来の移動補助器具に取って代わるものではありません。
ポケットに入れて持ち歩ける人が、周囲で起こっていることをリアルタイムで正確に説明してくれるとしたら、どんなに素晴らしいでしょう。Googleはまさにそれを実現しました。Gemini LiveにGuided Visionを統合することで、従来の質問を入力して回答を待つという方法から脱却し、カメラを通して世界を見せるだけで人工知能と対話できるようになったのです。
このツールは単なる静止画像解析ツールではなく、コンピュータビジョンに基づいた流動的でダイナミックな対話を実現します。視覚的な詳細情報を必要とするすべての人にとって大きな可能性を秘めていますが、その主な目的は、視覚障害者や弱視の方々のアクセシビリティ向上であり、正確な音声指示を通して、周囲の環境をより理解しやすく、操作しやすくすることを目指しています。
この技術は具体的にはどのように機能するのでしょうか?

手順は非常に簡単です。ユーザーが機能を有効にして、カメラの信号をGemini Liveと共有するだけです。すると、AIがライブ映像を分析し、ユーザーは画面に映っているものについて何でも質問できます。最も強力な機能は、追加の質問ができることです。つまり、Geminiが保存食の瓶を認識した場合、クエリを最初からやり直すことなく、すぐに賞味期限や原材料について質問できるのです。
他のツールとは異なり、Guided Visionはスマートフォンのフレーミングをガイドできます。デバイスが高すぎたり、被写体に近すぎたり、わずかに中心からずれていたりすると、アシスタントが音声でスマートフォンの位置を調整するよう指示します。これにより、AIは説明の誤りを避けるために必要な視覚情報を確実に得ることができます。
日常生活に役立つ実用的なツール

その用途は非常に多岐にわたり、日常生活の中で時に困難な状況にも対応できます。例えば、目が見えない栄養成分表示や薬の添付文書の小さな文字を読むのに最適です。また、紛失した物を探すのにも非常に便利です。スマートフォンを部屋の中を移動させ、例えば床に落ちたイヤホンや、瓶でいっぱいのキッチンにある胡椒入れなどを検知したら通知するように設定できます。
さらに、このツールはより主観的で美的感覚にも訴える領域にまで踏み込んでいます。Guided Visionはパターン、形状、色を認識できるため、ストライプのシャツが特定のパンツに合うかどうか尋ねたり、衣服の色を調べたりすることができます。見慣れない部屋の概略を説明したり、テーブルの上の物を識別したりすることも可能です。
Androidの設定と互換性

使い始めるには、まずGeminiアプリを開き、プロフィール設定に移動して、ライブガイド付きビジョンを使用するオプションを有効にするのが最も簡単な方法です。これが完了したら、Gemini Liveを開いてカメラの映像を共有するだけです。さらに素早くアクセスしたい場合は、Googleはアクセシビリティ(視覚)メニューからショートカットを作成するオプションを用意しており、2本指ジェスチャー、フローティングボタン、または両方の音量ボタンを同時に押すことで起動できます。
技術的な要件としては、Gemini Liveがユーザーの言語と地域で利用可能であれば、 Android 9以降を搭載したデバイスでこの機能はスムーズに動作します。オペレーティングシステムとGeminiアプリの両方を最新バージョンにアップデートすることが不可欠です。さらに、視覚障害のあるユーザーの自立性を最大限に高めるため、 Google TalkBackと完全に統合されています。
開発プロセスと安全上の警告

この画期的な成果は偶然の産物ではなく、視覚解釈の専門家であるAira社との緊密な連携の賜物です。システムの信頼性を確保するため、数千時間に及ぶ実世界のデータが活用され、さらにTrusted Testerネットワークに所属する1.000人以上のテスターの協力を得て、AIが日常生活において人が本当に必要とする情報を確実に理解できるようにしました。
しかし、Googleが断固として主張している点が一つあります。それは、このツールは医療機器でも安全システムでもないということです。同社は、Guided Visionは誤作動を起こす可能性があるため、道路のナビゲーション、経路上の障害物の検出、盲導犬や杖の代わりとして使用すべきではないと警告しています。その目的は、安全な移動誘導ではなく、補助的な視覚支援です。
このリアルタイムビジョン統合は、私たちがスマートフォンのインターフェースに適応するのではなく、AIが私たちの環境に適応するという、まさにパラダイムシフトと言えるでしょう。高度な画像認識と自然な音声インターフェースを組み合わせることで、Googleはスマートフォンを、あらゆる日常的な状況においてユーザーを読み取り、識別し、導くことができるインテリジェントなコンパニオンへと変貌させます。