- Isaac Capture ผสานรวมการควบคุมหุ่นยนต์จากระยะไกลและการเก็บรวบรวมข้อมูลแบบมุมมองบุคคลที่หนึ่งเข้าไว้ในระบบนิเวศแบบโมดูลาร์ที่เข้ากันได้กับสภาพแวดล้อมจำลองและสภาพแวดล้อมในโลกแห่งความเป็นจริง
- ระบบนี้ใช้กระบวนการกำหนดเป้าหมายใหม่แบบกราฟ ซึ่งแปลงการเคลื่อนไหวของมนุษย์ที่ตรวจจับได้ด้วย XR หรือถุงมือ ให้เป็นการกระทำของหุ่นยนต์ที่แม่นยำ
- มันทำงานร่วมกับ Isaac Lab ได้อย่างสมบูรณ์ ทำให้สามารถสร้างชุดข้อมูลขนาดใหญ่เพื่อฝึกฝนโมเดลการเลียนแบบและการเรียนรู้แบบเสริมแรงได้
ถ้าคุณสนใจเรื่องหุ่นยนต์ คุณจะรู้ว่าความท้าทายที่ใหญ่ที่สุดคือการทำให้หุ่นยนต์เรียนรู้ที่จะเคลื่อนไหวเหมือนมนุษย์โดยไม่ต้องใช้เวลานาน นั่นคือจุดที่Isaac Capture เข้ามา ช่วย มันเป็นเครื่องมือที่ช่วยให้คุณ "ชี้นำ" หุ่นยนต์ได้ ไม่ว่าจะเป็นในโปรแกรมจำลองหรือในชีวิตจริง และบันทึกการเคลื่อนไหวเหล่านั้นเพื่อให้เครื่องจักรเรียนรู้ได้ด้วยตัวเอง มันเหมือนกับการให้ตัวอย่างที่เป็นรูปธรรมแก่หุ่นยนต์ เพื่อที่มันจะได้ไม่ต้องเดาว่าต้องทำอย่างไร
จุดเด่นที่สุดของระบบนี้คือ มันไม่ได้แค่ควบคุมแขนหุ่นยนต์เท่านั้น แต่ยังผสานการควบคุมระยะไกลขั้นสูงเข้ากับการเก็บรวบรวมข้อมูลจากมุมมองของมนุษย์ หรือที่เรียกว่า egocentric flow เป้าหมายสูงสุดคือการป้อนข้อมูลคุณภาพสูงให้กับอัลกอริธึมการเรียนรู้เชิงลึก เพื่อลดช่องว่างที่น่าหงุดหงิดระหว่างสิ่งที่เกิดขึ้นบนคอมพิวเตอร์กับสิ่งที่เกิดขึ้นจริงเมื่อหุ่นยนต์สัมผัสกับพื้นโรงงาน
หัวใจหลักของ Isaac Capture และวิธีการทำงานของมัน

เพื่อให้เข้าใจว่าระบบนี้ทำงานอย่างไร เราต้องพิจารณาส่วนประกอบหลักสองส่วน ส่วนแรกคือIsaac Teleopซึ่งเป็นตัวเชื่อมระหว่างตัวควบคุมหรือชุดหูฟังกับหุ่นยนต์ โมดูลนี้มีหน้าที่ในการเก็บรวบรวมข้อมูลการติดตามและส่งผ่านไปยัง "ตัวแปล" ที่เรียกว่าretargeterซึ่งจะปรับกายวิภาคของมนุษย์ให้เข้ากับหุ่นยนต์ ส่วนที่สองคือego pipeline (ด้วยเครื่องมืออย่าง EgoHand และ EgoPost) ซึ่งมีหน้าที่ในการประมวลผลวิดีโอจากมุมมองของผู้ควบคุมเพื่อสร้างการเคลื่อนไหวของมือขึ้นมาใหม่
ระบบทั้งหมดนี้อาศัยแกนหลักที่ใช้ร่วมกันของปลั๊กอินอุปกรณ์และยูทิลิตี้ข้อมูล ซึ่งยอดเยี่ยมมากเพราะช่วยให้คุณสามารถขยายการกำหนดค่าฮาร์ดแวร์ได้โดยไม่ต้องเขียนโปรแกรมการเชื่อมต่อแต่ละอย่างตั้งแต่เริ่มต้น โดยพื้นฐานแล้ว ระบบจะอ่านอินพุตจากอุปกรณ์ ประมวลผลโดยใช้กราฟการกำหนดเป้าหมายใหม่ และส่งออกเทนเซอร์ของการกระทำที่บอทสามารถดำเนินการได้ทันที
ฮาร์ดแวร์และโหมดควบคุมที่เข้ากันได้

ความอเนกประสงค์นั้นสมบูรณ์แบบ คุณสามารถใช้ชุดหูฟังความเป็นจริงเสมือน (XR)เช่น Apple Vision Pro ซึ่งมีการติดตามข้อต่อ 26 ข้อต่อมือ หรือเลือกใช้ตัวเลือกแบบคลาสสิกอย่าง Meta Quest 3 และ PICO 4 Ultra ก็ได้ แต่ไม่ใช่แค่ชุดหูฟังเท่านั้น คุณยังสามารถผสานรวมถุงมือ MANUSหรือโครงสร้างภายนอก Haptikos เพื่อความแม่นยำระดับผ่าตัดในนิ้วมือ ซึ่งสำคัญมากหากคุณทำงานกับมือหุ่นยนต์ที่ต้องการความคล่องแคล่ว
หากคุณไม่มีชุดหูฟังอยู่ใกล้ๆ ก็ไม่ต้องกังวล เพราะระบบรองรับอุปกรณ์แบบสแตนด์อโลนคุณสามารถควบคุมหุ่นยนต์ด้วยคีย์บอร์ด จอยเกม หรือแม้แต่ SpaceMouse เพื่อการควบคุมแบบ 6 องศาอิสระ นอกจากนี้ยังรองรับแขนหุ่นยนต์จริง (เช่น SO-101) ซึ่งคุณขยับแขนจริง และหุ่นยนต์จำลองจะเลียนแบบมุมข้อต่อแบบเรียลไทม์ โดยไม่จำเป็นต้องคำนวณจลนศาสตร์ผกผันที่ซับซ้อน
การบูรณาการกับ Isaac Lab และขั้นตอนการฝึกอบรม

Isaac Capture ไม่ได้ทำงานอย่างโดดเดี่ยว มันเป็นส่วนประกอบสำคัญของIsaac Labสภาพแวดล้อมนี้ช่วยให้สามารถฝึกฝนนโยบายของหุ่นยนต์โดยใช้การเรียนรู้แบบเสริมแรงหรือการเลียนแบบ ขั้นตอนการทำงานนั้นง่ายมาก คุณควบคุมหุ่นยนต์จากระยะไกล บันทึกการสาธิตในไฟล์ HDF5 จากนั้นใช้เครื่องมือต่างๆ เช่นIsaac Lab Mimicเพื่อสอนโมเดลจากตัวอย่างเหล่านั้น นอกจากนี้ ระบบยังอนุญาตให้มีการสุ่มโดเมนการเปลี่ยนแปลงพื้นผิวและฟิสิกส์ เพื่อไม่ให้หุ่นยนต์หลงทางเมื่อแสงในโลกแห่งความเป็นจริงเปลี่ยนแปลงไป
รายละเอียดทางเทคนิคที่สำคัญคือความสามารถของระบบในการทำงานใน โหมด สแตนด์อโลนซึ่งหมายความว่าคุณสามารถเก็บข้อมูลได้โดยไม่ต้องเรนเดอร์ฉากทั้งหมดบนหมวก XR ช่วยประหยัดทรัพยากรการคำนวณได้อย่างมาก สำหรับผู้ที่ต้องการความสมจริงสูงสุด การผสานรวมกับเอนจิ้นฟิสิกส์ Newtonช่วยให้สามารถจำลองวัตถุที่เปลี่ยนรูปได้ ผ้า และสายเคเบิล ซึ่งเป็นสิ่งที่ท้าทายอย่างมากในการจำลองแบบแข็งแบบดั้งเดิม
ความสำคัญของการกำหนดเป้าหมายใหม่และการรับฟังความคิดเห็น

การกำหนด เป้าหมายใหม่โดยใช้กราฟเป็นหัวใจสำคัญของการทำงานนี้ มันไม่ใช่แค่การคัดลอกตำแหน่ง แต่เป็นการแมปความตั้งใจของมนุษย์ ตัวอย่างเช่น การบีบนิ้วบนถุงมือจะถูกแปลงเป็นสัญญาณเข้าใกล้สำหรับตัวจับยึดของหุ่นยนต์ กระบวนการนี้สามารถกำหนดค่าได้อย่างเต็มที่ คุณสามารถเปลี่ยนจากการควบคุมโดยใช้ตัวควบคุมการเคลื่อนไหวไปเป็นการติดตามมือได้ง่ายๆ เพียงแค่เปลี่ยนฟังก์ชันตัวสร้างในการตั้งค่าสภาพแวดล้อม
เพื่อป้องกันไม่ให้ผู้ควบคุม "มองไม่เห็น" Isaac Capture จึงใช้ระบบตอบสนองแบบสัมผัส (haptic feedback ) หากหุ่นยนต์สัมผัสกับวัตถุในโปรแกรมจำลอง ตัวควบคุมของผู้ควบคุมจะสั่นตามสัดส่วนของแรงกระแทก ในกรณีของถุงมือสัมผัส แต่ละนิ้วจะได้รับสัญญาณที่แตกต่างกัน ทำให้ผู้ควบคุมสามารถรับรู้ได้ว่าพวกเขากำลังจับวัตถุแน่นแค่ไหน ซึ่งช่วยปรับปรุงคุณภาพของการสาธิตที่บันทึกไว้ได้อย่างมาก
การเพิ่มประสิทธิภาพและการนำไปใช้งานจริง
เพื่อให้มั่นใจว่าทุกอย่างทำงานได้อย่างราบรื่น NVIDIA ได้ปรับแต่งการเรนเดอร์ด้วย RTX และนำDeadline Pacing มาใช้ ซึ่งจะจัดระเบียบงานการกำหนดเป้าหมายใหม่เพื่อป้องกันไม่ให้ไปขัดขวางลูปการจำลอง นี่เป็นสิ่งสำคัญอย่างยิ่งเพื่อหลีกเลี่ยงความล่าช้าที่ผู้ใช้งานอาจรับรู้ได้ ซึ่งจะเป็นหายนะเมื่อพยายามทำงานที่ต้องการความแม่นยำสูง นอกจากนี้ ยัง สามารถกำหนดค่า การแสดงภาพการดีบักให้แสดงทรงกลมสีแดงที่แสดงถึงข้อต่อที่ติดตาม เพื่อยืนยันว่าทุกอย่างอยู่ในแนวเดียวกัน
โดยสรุปแล้ว ระบบนิเวศทั้งหมดนี้มีเป้าหมายเพื่อป้อนข้อมูลให้กับโมเดลพื้นฐานเช่น GR00T โมเดลเหล่านี้ได้รับการฝึกฝนล่วงหน้าโดยใช้ภาพวิดีโอของมนุษย์จำนวนมหาศาล จากนั้นจึงปรับแต่งอย่างละเอียดด้วยข้อมูลที่แม่นยำซึ่งได้มาจาก Isaac Capture ด้วยวิธีนี้ เราจึงเปลี่ยนจากหุ่นยนต์ที่รู้วิธีทำงานเพียงอย่างเดียวในห้องปฏิบัติการ ไปสู่เครื่องจักรที่มีความสามารถรอบด้านสามารถปรับตัวให้เข้ากับสภาพแวดล้อมภายในบ้านหรือในโรงงานอุตสาหกรรมได้อย่างง่ายดายอย่างน่าทึ่ง
สถาปัตยกรรมปัจจุบันของ Isaac Capture และการผสานรวมเข้ากับ Isaac Lab ช่วยให้สามารถเปลี่ยนพื้นที่ทางกายภาพใดๆ ให้กลายเป็นดิจิทัลทวินได้ผ่านการสแกน LiDAR และ Gaussian Splatting สร้างวงจรปิดที่การเก็บรวบรวมข้อมูลจากมนุษย์การจำลองขนาดใหญ่ และการใช้งานบนฮาร์ดแวร์จริงจะถูกส่งกลับอย่างต่อเนื่องเพื่อให้ได้มาซึ่งความชาญฉลาดเชิงพื้นที่อย่างแท้จริง
คำถามที่พบบ่อย
Isaac Capture คืออะไรกันแน่ในบริบทของวิทยาการหุ่นยนต์?
เป็นแพลตฟอร์มที่ผสานรวมการควบคุมระยะไกลและการเก็บรวบรวมข้อมูลมนุษย์เพื่อฝึกฝนหุ่นยนต์ ทำให้สามารถแปลงการเคลื่อนไหวของมนุษย์ให้เป็นการกระทำของหุ่นยนต์ผ่านการกำหนดเป้าหมายใหม่ได้
สามารถใช้ Isaac Capture โดยไม่ต้องใช้ชุดหูฟังเสมือนจริงได้หรือไม่?
ใช่ ระบบรองรับโหมดสแตนด์อโลน ซึ่งช่วยให้สามารถใช้คีย์บอร์ด จอยเกม SpaceMouse หรือแขนกลควบคุมหุ่นยนต์ได้
Isaac Capture ช่วยลดช่องว่างระหว่างการจำลองกับความเป็นจริงได้อย่างไร?
เทคโนโลยีนี้ช่วยให้สามารถสร้างชุดข้อมูลคุณภาพสูงโดยอิงจากการสาธิตของมนุษย์จริง และใช้การสุ่มโดเมนเพื่อทำให้หุ่นยนต์มีความทนทานต่อการเปลี่ยนแปลงในสภาพแวดล้อมทางกายภาพ
อุปกรณ์ใดบ้างที่รองรับการติดตามการเคลื่อนไหวของมือ?
ระบบนี้สามารถใช้งานร่วมกับ Apple Vision Pro, Meta Quest 3, PICO 4 Ultra และถุงมือเฉพาะทาง เช่น ถุงมือจากแบรนด์ MANUS ได้
การกำหนดเป้าหมายใหม่มีบทบาทอย่างไรในระบบนี้?
การกำหนดเป้าหมายใหม่ทำหน้าที่เสมือนตัวแปลที่ปรับกายวิภาคและการเคลื่อนไหวของผู้ควบคุมให้เข้ากับโครงสร้างและข้อจำกัดทางกายภาพของหุ่นยนต์
เป็นไปได้ไหมที่จะรู้สึกถึงการสัมผัสทางกายภาพผ่านโปรแกรม Isaac Capture?
ใช่ ระบบรองรับการตอบสนองแบบสัมผัส (haptic feedback) ที่ส่งแรงสั่นสะเทือนไปยังตัวควบคุมหรือถุงมือตามแรงสัมผัสที่ตรวจพบในการจำลอง
ข้อมูลที่รวบรวมได้จะถูกนำไปบูรณาการเข้ากับการฝึกฝนหุ่นยนต์ได้อย่างไร?
การสาธิตจะถูกบันทึกในไฟล์ HDF5 จากนั้นจะถูกประมวลผลโดยเฟรมเวิร์กการเรียนรู้แบบเลียนแบบ เช่น Isaac Lab Mimic