คู่มือฉบับสมบูรณ์เกี่ยวกับวิธีการทำงานของ Google Guided Vision

อินฟอร์เมเทค ดิจิตอล » ปัญญาประดิษฐ์ » คู่มือฉบับสมบูรณ์เกี่ยวกับวิธีการทำงานของ Google Guided Vision

ลองนึกภาพว่าคุณสามารถพกพาใครสักคนไว้ในกระเป๋าเสื้อได้ และสามารถอธิบายสิ่งที่เกิดขึ้นรอบตัวคุณแบบเรียลไทม์ได้ นั่นคือสิ่งที่ Google ทำได้โดยการผสานรวมGuided Vision เข้ากับ Gemini Liveซึ่งเป็นฟีเจอร์ที่พลิกโฉมวิธีการใช้งานแบบเดิม ๆ ที่ต้องพิมพ์คำถามและรอคำตอบ ตอนนี้เราสามารถโต้ตอบกับปัญญาประดิษฐ์ได้ง่าย ๆ เพียงแค่แสดงภาพโลกผ่านเลนส์กล้องให้มันเห็น

เครื่องมือนี้ไม่ใช่เพียงแค่เครื่องวิเคราะห์ภาพถ่ายแบบคงที่ แต่ยังนำเสนอการสนทนาที่ลื่นไหลและมีชีวิตชีวาโดยอาศัยเทคโนโลยีการมองเห็นด้วยคอมพิวเตอร์ แม้ว่าจะมีศักยภาพมหาศาลสำหรับทุกคนที่ต้องการความช่วยเหลือเกี่ยวกับรายละเอียดทางสายตา แต่จุดประสงค์หลักคือการเข้าถึงสำหรับผู้พิการทางสายตาหรือผู้ที่มีความบกพร่องทางการมองเห็น โดยมุ่งหวังที่จะทำให้สภาพแวดล้อมเข้าใจง่ายและจัดการได้ง่ายขึ้นผ่านคำแนะนำด้วยเสียงที่แม่นยำ

เทคโนโลยีนี้ทำงานอย่างไรกันแน่?

กระบวนการนี้ค่อนข้างง่าย: ผู้ใช้เปิดใช้งานฟีเจอร์และแชร์สัญญาณจากกล้องไปยัง Gemini Live จากนั้น AI จะวิเคราะห์ภาพสด และผู้ใช้สามารถถามคำถามใดๆ เกี่ยวกับสิ่งที่กำลังเห็นได้ ฟีเจอร์ที่ทรงพลังที่สุดคือการอนุญาตให้ถามคำถามเพิ่มเติมได้กล่าวคือ หาก Gemini ระบุว่าเป็นขวดแยม คุณสามารถถามเกี่ยวกับวันหมดอายุหรือส่วนผสมได้ทันทีโดยไม่ต้องเริ่มถามใหม่

แตกต่างจากเครื่องมืออื่นๆ Guided Vision สามารถช่วยแนะนำการจัดเฟรมภาพของโทรศัพท์ได้หากอุปกรณ์ชี้สูงเกินไป ใกล้กับวัตถุมากเกินไป หรือเบี่ยงไปจากจุดศูนย์กลางเล็กน้อย ผู้ช่วยจะให้คำแนะนำด้วยเสียงเพื่อปรับตำแหน่งของโทรศัพท์ซึ่งช่วยให้ AI มีข้อมูลภาพที่จำเป็นเพื่อหลีกเลี่ยงข้อผิดพลาดในการอธิบายภาพ

เครื่องมือที่ใช้งานได้จริงสำหรับชีวิตประจำวัน

แอปพลิเคชันเหล่านี้มีความหลากหลายอย่างเหลือเชื่อและช่วยแก้ปัญหาในสถานการณ์ประจำวันที่อาจเป็นเรื่องยาก ตัวอย่างเช่น เหมาะอย่างยิ่งสำหรับการอ่านตัวอักษรขนาดเล็กบนฉลากโภชนาการหรือเอกสารกำกับยาในบริเวณที่ตาไม่สามารถมองเห็นได้ นอกจากนี้ยังเป็นประโยชน์อย่างมากในการค้นหาสิ่งของที่หายไปคุณสามารถเคลื่อนโทรศัพท์ไปรอบๆ ห้องและตั้งค่าให้แจ้งเตือนคุณเมื่อตรวจพบ เช่น หูฟังที่ตกพื้น หรือขวดพริกไทยในครัวที่เต็มไปด้วยขวดโหล

นอกจากนี้ เครื่องมือนี้ยังเจาะลึกไปถึงมิติที่เป็นอัตวิสัยและสุนทรียภาพมากขึ้น Guided Vision สามารถจดจำลวดลาย รูปร่าง และสีได้ดังนั้นคุณจึงสามารถถามได้ว่าเสื้อลายทางเข้ากับกางเกงแบบไหน หรือเพียงแค่หาว่าเสื้อผ้าชิ้นนั้นมีสีอะไร มันยังสามารถให้คำอธิบายทั่วไปของห้องที่ไม่คุ้นเคย หรือระบุสิ่งของบนโต๊ะได้ อีกด้วย

การกำหนดค่าและความเข้ากันได้ของ Android

วิธีที่ง่ายที่สุดในการเริ่มต้นคือ เปิดแอป Gemini ไปที่การตั้งค่าโปรไฟล์ของคุณ และเปิดใช้งานตัวเลือกการใช้ Live Guided Vision เมื่อคุณทำเช่นนี้แล้ว เพียงเปิด Gemini Live และแชร์ฟีดกล้องของคุณ สำหรับผู้ที่ต้องการเข้าถึงได้รวดเร็วยิ่งขึ้น Google ได้เพิ่มตัวเลือกในการสร้างทางลัดจากเมนูการเข้าถึง (Vision) ซึ่งช่วยให้คุณเปิดใช้งานได้ด้วยการใช้สองนิ้ว ปุ่มลอย หรือโดยการกดปุ่มปรับระดับเสียงทั้งสองปุ่มพร้อมกัน

ในส่วนของข้อกำหนดทางเทคนิค ฟีเจอร์นี้ทำงานได้อย่างราบรื่นบนอุปกรณ์ที่ใช้Android 9 หรือเวอร์ชันที่ใหม่กว่าโดยมีเงื่อนไขว่า Gemini Live ต้องมีเวอร์ชันภาษาและภูมิภาคที่ผู้ใช้ใช้งานอยู่ จำเป็นอย่างยิ่งที่จะต้องอัปเดตทั้งระบบปฏิบัติการและแอป Gemini ให้เป็นเวอร์ชันล่าสุด ยิ่งไปกว่านั้น ฟีเจอร์นี้ยังผสานรวมเข้ากับ Google TalkBackอย่างสมบูรณ์เพื่อเพิ่มความเป็นอิสระสูงสุดให้กับผู้ใช้ที่มีความบกพร่องทางสายตา

กระบวนการพัฒนาและคำเตือนด้านความปลอดภัย

ความก้าวหน้าครั้งนี้ไม่ได้เกิดขึ้นโดยบังเอิญ แต่เป็นผลมาจากการทำงานร่วมกันอย่างใกล้ชิดกับAira ผู้เชี่ยวชาญด้านการตีความภาพเพื่อให้มั่นใจในความน่าเชื่อถือของระบบ จึงได้ใช้ข้อมูลจริงหลายพันชั่วโมง พร้อมกับการสนับสนุนจากผู้ทดสอบกว่า 1.000 คนจากเครือข่าย Trusted Testerซึ่งรับประกันว่า AI เข้าใจว่าบุคคลนั้นต้องการข้อมูลอะไรอย่างแท้จริงในสถานการณ์ประจำวัน

อย่างไรก็ตาม Google ยืนยันอย่างหนักแน่นในประเด็นหนึ่ง คือ เครื่องมือนี้ไม่ใช่เครื่องมือทางการแพทย์หรือระบบความปลอดภัย บริษัทเตือนว่า Guided Vision อาจเกิดข้อผิดพลาดได้ ดังนั้นจึงไม่ควรใช้สำหรับการนำทางบนท้องถนน การตรวจจับสิ่งกีดขวางในเส้นทาง หรือใช้แทนสุนัขนำทางหรือไม้เท้า จุดประสงค์ของมันคือการให้ความช่วยเหลือด้านการมองเห็นเพิ่มเติมไม่ใช่การนำทางเพื่อความปลอดภัยในการเคลื่อนที่

การผสานรวมระบบการมองเห็นแบบเรียลไทม์นี้ถือเป็นการเปลี่ยนแปลงครั้งสำคัญ ที่ทำให้เราไม่ต้องปรับตัวให้เข้ากับอินเทอร์เฟซของโทรศัพท์อีกต่อไป แต่ปัญญาประดิษฐ์ (AI) จะปรับตัวให้เข้ากับสภาพแวดล้อมของเราแทน ด้วยการผสมผสานการจดจำภาพขั้นสูงเข้ากับอินเทอร์เฟซเสียงที่เป็นธรรมชาติ Google จึงเปลี่ยนโทรศัพท์มือถือให้กลายเป็นเพื่อนคู่ใจอัจฉริยะที่สามารถอ่าน ระบุ และแนะนำผู้ใช้ในสถานการณ์ต่างๆ ในชีวิตประจำวันได้