- يتيح ذلك وصفًا صوتيًا في الوقت الفعلي عبر الكاميرا وبرنامج Gemini Live.
- ويشمل ذلك المساعدة في ضبط إطار الجهاز المحمول وطرح أسئلة المتابعة.
- تم تصميمه كأداة لتسهيل الوصول للأشخاص المكفوفين أو ضعاف البصر.
- يتطلب نظام Android 9 أو أعلى ولا يحل محل وسائل المساعدة على الحركة التقليدية.
تخيل أن يكون بإمكانك حمل شخص في جيبك يصف لك بدقة ما يحدث حولك في الوقت الفعلي. هذا ما فعلته جوجل بالفعل من خلال دمج تقنية الرؤية الموجهة في تطبيق Gemini Live ، وهي ميزة تُغيّر مفهوم كتابة الأسئلة وانتظار الإجابة، وتتيح لنا الآن التفاعل مع الذكاء الاصطناعي ببساطة عن طريق عرض العالم من خلال عدسة الكاميرا.
هذه الأداة ليست مجرد محلل صور ثابت، بل تقدم محادثة سلسة وديناميكية تعتمد على تقنية رؤية الحاسوب. ورغم ما تتمتع به من إمكانيات هائلة لكل من يحتاج إلى مساعدة في فهم التفاصيل البصرية، إلا أن هدفها الأساسي هو تسهيل الوصول إليها للمكفوفين أو ضعاف البصر ، وذلك بجعل البيئة أكثر وضوحًا وسهولة في الاستخدام من خلال توجيهات صوتية دقيقة.
كيف تعمل هذه التقنية بالضبط؟
العملية بسيطة للغاية: يُفعّل المستخدم الخاصية ويشارك إشارة الكاميرا مع تطبيق Gemini Live. ومن ثم، يقوم الذكاء الاصطناعي بتحليل الصورة المباشرة، ويمكن للمستخدم طرح أي سؤال حول ما يراه. وتتمثل الميزة الأقوى في إمكانية طرح أسئلة متابعة ؛ أي إذا رصد تطبيق Gemini مرطبانًا من المربى، يمكنك سؤاله فورًا عن تاريخ انتهاء الصلاحية أو المكونات دون الحاجة إلى إعادة السؤال.
على عكس الأدوات الأخرى، تُتيح لك ميزة الرؤية الموجهة توجيه إطار الهاتف . فإذا كان الجهاز مُوجَّهًا لأعلى جدًا، أو قريبًا جدًا من الجسم، أو منحرفًا قليلًا عن المركز، سيُقدِّم لك المساعد إشارات صوتية لتعديل وضع الهاتف . وهذا يضمن حصول الذكاء الاصطناعي على المعلومات البصرية اللازمة لتجنب الأخطاء في وصفه.
أدوات عملية للحياة اليومية
تتنوع التطبيقات بشكل كبير، وتتناول مواقف يومية قد تكون صعبة أحيانًا. على سبيل المثال، يُعدّ التطبيق مثاليًا لقراءة الأحرف الصغيرة على ملصقات التغذية أو نشرات الأدوية حيث يصعب على العين المجردة رؤيتها. كما أنه مفيد جدًا في تحديد مواقع الأشياء المفقودة ؛ إذ يمكنك تحريك هاتفك في أرجاء الغرفة، ويطلب منه تنبيهك عند اكتشافه، على سبيل المثال، سماعة أذن سقطت على الأرض، أو علبة الفلفل في مطبخ مليء بالبرطمانات.
علاوة على ذلك، تتعمق الأداة في جوانب جمالية وذاتية. تستطيع تقنية الرؤية الموجهة التعرف على الأنماط والأشكال والألوان ، لذا يمكنك سؤالها عما إذا كان قميص مخطط يتناسب مع بنطال معين، أو ببساطة معرفة لون قطعة ملابس. بل يمكنها أيضاً تقديم وصف عام لغرفة غير مألوفة، أو تحديد العناصر الموجودة على طاولة.
تكوين نظام أندرويد وتوافقه
للبدء، أسهل طريقة هي فتح تطبيق Gemini، ثم الانتقال إلى إعدادات ملفك الشخصي، وتفعيل خيار استخدام ميزة الرؤية الموجهة المباشرة. بعد ذلك، افتح تطبيق Gemini Live وشارك بث الكاميرا. ولمن يبحث عن وصول أسرع، أضافت جوجل خيار إنشاء اختصار من قائمة إمكانية الوصول (الرؤية)، مما يسمح بتفعيله بإيماءات إصبعين، أو الزر العائم، أو بالضغط على زري الصوت معًا.
فيما يتعلق بالمتطلبات التقنية، تعمل هذه الميزة بسلاسة على الأجهزة التي تعمل بنظام Android 9 أو أحدث ، شريطة أن يكون تطبيق Gemini Live متوفرًا بلغة المستخدم ومنطقته. من الضروري تحديث كل من نظام التشغيل وتطبيق Gemini إلى أحدث إصدار . علاوة على ذلك، فهي متكاملة تمامًا مع Google TalkBack لتعزيز استقلالية المستخدمين ذوي الإعاقة البصرية.
عملية التطوير وتحذيرات السلامة
لم يكن هذا الإنجاز وليد الصدفة، بل ثمرة تعاون وثيق مع شركة "آيرا"، المتخصصة في التفسير البصري . ولضمان موثوقية النظام، استُخدمت آلاف الساعات من البيانات الواقعية، إلى جانب دعم أكثر من ألف مُختبِر من شبكة "المُختبِر الموثوق" ، مما يضمن فهم الذكاء الاصطناعي للمعلومات التي يحتاجها الشخص فعلاً في المواقف اليومية.
مع ذلك، تُصرّ جوجل على نقطة واحدة: هذه الأداة ليست جهازًا طبيًا ولا نظام أمان. تُحذّر الشركة من أن نظام الرؤية المُوجّهة قد يُخطئ، وبالتالي، لا ينبغي استخدامه للتنقل في الشوارع، أو اكتشاف العوائق في الطريق، أو استبدال وظيفة كلب الإرشاد أو العصا. الغرض منه هو تقديم مساعدة بصرية مُكمّلة ، وليس توفير إرشادات تنقل آمنة.
يمثل هذا التكامل بين الرؤية الآنية نقلة نوعية، حيث لم نعد نتكيف مع واجهة الهاتف، بل أصبح الذكاء الاصطناعي هو الذي يتكيف مع بيئتنا. فمن خلال الجمع بين تقنية التعرف البصري المتقدمة وواجهة صوتية طبيعية، تحوّل جوجل الهاتف المحمول إلى رفيق ذكي قادر على القراءة والتعرف على المستخدم وتوجيهه في أي موقف يومي.