- これにより、カメラとGemini Liveを介してリアルタイムの音声解説が可能になります。
- これには、モバイルデバイスのフレーミングに関するサポートや、フォローアップの質問への対応が含まれます。
- これは、視覚障害者や弱視者のためのアクセシビリティツールとして設計されています。
- Android 9以降が必要です。また、従来の移動補助器具に取って代わるものではありません。
ポケットに、周囲で起こっていることをリアルタイムで正確に説明してくれる人を持ち歩けることを想像してみてください。Googleは基本的にそれを実現しました。 Gemini Liveにおけるガイド付きビジョンこの機能は、質問を書いて回答を待つという従来のやり方を覆し、カメラレンズを通して世界を見せるだけで人工知能と対話することを可能にする。
このツールは単純な静止画像解析ツールではなく、 流動的でダイナミックな会話 コンピュータビジョンに基づいています。視覚的な詳細で助けが必要な人にとって大きな可能性を秘めていますが、その核心と存在意義は、 視覚障害者向けのアクセシビリティ あるいは、視覚障害のある人が、正確な音声指示を通して、周囲の環境をより理解しやすく、管理しやすくすることを目指している。
この技術は具体的にはどのように機能するのでしょうか?
プロセスは非常にシンプルです。ユーザーが機能をアクティブ化して カメラ信号を共有する Gemini Liveを使えば、AIがライブ映像を分析し、ユーザーは見ているものについて何でも質問できます。最も強力な機能は、 フォローアップの質問つまり、Geminiが保存食の缶詰を識別した場合、クエリをやり直すことなく、すぐに賞味期限や原材料を問い合わせることができる。
他のツールとは異なり、ガイド付きビジョンは 携帯電話のフレーミングをガイドするデバイスの向きが高すぎたり、対象物に近すぎたり、わずかに中心からずれていたりすると、アシスタントが音声で修正を促します。 電話の位置を調整するこれにより、AIは説明文に誤りを犯さないために必要な視覚情報を確実に得ることができます。
日常生活に役立つ実用的なツール
アプリケーションは非常に多岐にわたり、私たちが時に困難に感じる日常的な問題にも触れています。例えば、次のような場合に最適です。 小文字を読む 栄養表示ラベルや医薬品のリーフレットなど、すぐには見えない場所にも記載されています。また、 紛失物を探すスマートフォンを部屋の中を移動させ、例えば床に落ちたイヤホンや、瓶でいっぱいのキッチンにある胡椒入れなどを検知した際に通知するように設定できます。
さらに、このツールはより主観的で美的領域に踏み込んでいます。Guided Visionは認識することができます。 模様、形、色だから、ストライプのシャツが特定のパンツに合うかどうか彼女に尋ねたり、単に服の色を調べたりすることもできます。彼女はさらに 滞在の概要 テーブルの上に何が置かれているのか不明、または詳細が不明。
Androidの設定と互換性
始めるには、最も直接的な方法は、Geminiアプリを開き、プロフィール設定に移動して、 ガイド付きビジョンを使用するオプションを選択してください ライブ。これが完了したら、Gemini Live を開いてカメラを共有するだけです。より高速な方法を求めるユーザーのために、Google は、 アクセシビリティメニューから直接アクセス （視覚補助機能）により、2本指のジェスチャー、フローティングボタン、または両方の音量ボタンを同時に押すことで起動できます。
技術要件としては、以下のデバイスでこの機能はスムーズに動作します。 Android 9以降のバージョンGemini Liveがユーザーの言語と地域で利用可能であることが前提となります。オペレーティングシステムとGeminiアプリケーションの両方がインストールされていることが必須です。 最新バージョンにアップデートさらに、完全に統合されています Google TalkBack 視覚障害のあるユーザーの自立性を最大限に高めるため。
開発プロセスと安全上の警告
この進歩は偶然の結果ではなく、 アイラは、視覚解釈の専門家です。システムの信頼性を真に確保するために、数千時間に及ぶ実世界のデータと、 Trusted Testerネットワークから1.000人のテスターが参加AIが、人が日常生活の中で本当に必要とする情報を理解できるようにする。
しかし、Googleが断固として譲らない点が一つある。それはこのツールだ。 医療機器ではありません セキュリティ システムでもありません。同社は、Guided Vision は間違いを犯す可能性があるため、 ナビゲーションには使用しないでください。 路上では、進路上の障害物を検知したり、盲導犬や杖の機能を代替したりします。その目的は、 補助的な視覚支援安全な移動ガイドではありません。
このリアルタイムビジョンの統合は、私たちがスマートフォンのインターフェースに適応するのではなく、AIが私たちの環境に適応するというパラダイムシフトを示しています。高度な視覚認識と自然な音声インターフェースを組み合わせることで、Googleは携帯電話を 知的なコンパニオン あらゆる日常的な状況において、ユーザーを読み取り、識別し、誘導する能力を備えている。