- Isaac Capture מאחדת טלפוניה רובוטית ולכידת נתונים אגוצנטרית במערכת אקולוגית מודולרית התואמת לסימולציה ולסביבות עולם אמיתי.
- המערכת משתמשת בזרימת ריטרגטינג מבוססת גרפים שמתרגמת תנועות אנושיות שנתפסו על ידי XR או כפפות לפעולות רובוטיות מדויקות.
- הוא משתלב באופן מלא עם Isaac Lab, ומאפשר יצירת מערכי נתונים עצומים לאימון מודלים של למידת חיקוי וחיזוק.
אם אתם מתעניינים ברובוטיקה, אתם יודעים שהאתגר הגדול ביותר הוא לגרום לרובוט ללמוד לנוע כמונו בלי שזה ייקח נצח. כאן נכנס לתמונה Isaac Capture . זהו כלי שבעצם מאפשר לכם "להנחות" את הרובוט, בין אם בסימולטור או בחיים האמיתיים, ולתעד את התנועות הללו כדי שהמכונה תוכל ללמוד אותן בעצמה. זה כמו לתת לרובוט דוגמה מעשית כדי שלא יצטרך לנחש כיצד לבצע משימה.
ההיבט החזק ביותר של מערכת זו הוא שהיא לא רק מזיזה זרוע רובוטית; היא משלבת טלפוניה מתקדמת עם לכידת נתונים מנקודת מבט אנושית, המכונה זרימה אגוצנטרית. בסופו של דבר, המטרה היא להזין אלגוריתמי למידה עמוקה בנתונים באיכות גבוהה, ולגשר על הפער המתסכל בין מה שקורה במחשב למה שקורה בפועל כאשר הרובוט נוגע ברצפת המפעל.
לב ליבה של אייזק לכיבוש וכיצד היא פועלת

כדי להבין איך זה עובד, עלינו להסתכל על שני עמודי התווך שלו. מצד אחד, יש לנו את Isaac Teleop , שהוא הגשר בין הבקרים או משקפי המצלמה שלנו לבין הרובוט. מודול זה אחראי על לכידת נתוני המעקב והעברתם דרך "מתרגמים" הנקראים ריטרגטרים , אשר מתאימים את האנטומיה האנושית לזו של הרובוט. מצד שני, צינור ה-ego (עם כלים כמו EgoHand ו-EgoPost) אחראי על עיבוד סרטונים מנקודת מבטו של המפעיל כדי לשחזר תנועות ידיים.
כל ההתקנה הזו מסתמכת על ליבה משותפת של תוספים למכשירים וכלי שירות נתונים. זה פנטסטי משום שזה מאפשר לך להרחיב את תצורת החומרה שלך מבלי שתצטרך לתכנת כל אינטגרציה מאפס. בעיקרון, המערכת קוראת את קלט המכשיר, מעבדת אותו באמצעות גרף הריטרגטינג, ומפיקה טנזור של פעולות שהבוט יכול לבצע באופן מיידי.
חומרה ומצבי בקרה תואמים

הרבגוניות היא שלמה. ניתן להשתמש במשקפי מציאות מורחבת (XR) כמו Apple Vision Pro, המציע מעקב אחר 26 מפרקים בכל יד, או לבחור באפשרויות קלאסיות יותר כמו Meta Quest 3 ו-PICO 4 Ultra. אבל זה לא רק משקפי ראייה; ניתן גם לשלב כפפות MANUS או שלדים חיצוניים של Haptikos לדיוק כירורגי באצבעות, חיוני אם אתם עובדים עם ידיים רובוטיות הדורשות מיומנות.
אם אין לכם אוזניות בהישג יד, אין בעיה, מכיוון שהמערכת תומכת במכשירים עצמאיים . ניתן לשלוט ברובוט באמצעות מקלדת, בקר משחק או אפילו SpaceMouse לשליטה של 6 דרגות חופש. יש אפילו תמיכה בזרועות הובלה פיזיות (כמו ה-SO-101), שבהן אתם מזיזים זרוע אמיתית והרובוט המדומה מחקה את זוויות המפרק בזמן אמת, ללא צורך בחישובים קינמטיים הפוכים מורכבים.
אינטגרציה עם מעבדת אייזק וזרימת ההדרכה

Isaac Capture אינו קיים בבידוד; הוא מרכיב מפתח ב- Isaac Lab . סביבה זו מאפשרת אימון מדיניות רובוטית באמצעות למידת חיזוק או חיקוי. תהליך העבודה פשוט: אתם מפעילים את הרובוט מרחוק, מקליטים את ההדגמה בקבצי HDF5, ולאחר מכן משתמשים בכלים כמו Isaac Lab Mimic כדי ללמד את המודל מהדוגמאות הללו. יתר על כן, המערכת מאפשרת אקראיות של תחומים , שינוי מרקמים ופיזיקה כך שהרובוט לא יאבד כאשר התאורה משתנה בעולם האמיתי.
פרט טכני מרכזי הוא יכולתה של המערכת לפעול במצב עצמאי . משמעות הדבר היא שניתן ללכוד נתונים מבלי שיהיה צורך לרינדור את כל הסצנה על קסדת XR, ובכך לחסוך משאבי חישוב משמעותיים. עבור אלו המחפשים ריאליזם מקסימלי, האינטגרציה עם מנוע הפיזיקה של ניוטון מאפשרת סימולציה של עצמים, בדים וכבלים הניתנים לעיוות - דבר שהיווה אתגר מרכזי בסימולציות קשיחות מסורתיות.
החשיבות של ריטרגטינג ומשוב

ריטרגטינג מבוסס גרפים הוא מה שגורם לקסם לעבוד. זה לא רק העתקת מיקום, אלא מיפוי כוונה אנושית. לדוגמה, לחיצת אצבע על כפפה מתורגמת לאות קרוב עבור האחיזה של הרובוט. תהליך זה ניתן להגדרה מלאה; ניתן לעבור מבקרה מבוססת בקר תנועה למעקב ידני פשוט על ידי שינוי פונקציית הבנאי בהגדרות הסביבה.
כדי למנוע מהמפעיל להיות "עיוור", Isaac Capture מיישם משוב הפטי . אם הרובוט נוגע בעצם בסימולטור, בקר המפעיל יכול לרטוט באופן פרופורציונלי לעוצמת הפגיעה. במקרה של כפפות הפטיות, כל אצבע יכולה לקבל אות ייחודי, המאפשר למפעיל להרגיש עד כמה הוא אוחז בעצם בחוזקה, מה שמשפר באופן דרמטי את איכות ההדגמות המוקלטות.
אופטימיזציה ופריסה בעולם האמיתי
כדי להבטיח שהכל יפעל בצורה חלקה, NVIDIA ביצעה אופטימיזציה של הרינדור עם RTX ויישמה את Deadline Pacing , אשר מארגן משימות ריטרגטינג כדי למנוע מהן לחסום את לולאת הסימולציה. זה קריטי כדי למנוע השהיה נתפסת עבור המפעיל, דבר שעלול להיות הרסני בעת ניסיון משימות מדויקות. בנוסף, ניתן להגדיר את ויזואליזציית ניפוי השגיאות כך שתציג כדורים אדומים המייצגים מפרקים במעקב, המאשרים שהכל מיושר.
בסופו של דבר, כל המערכת האקולוגית הזו שואפת להזין מודלים בסיסיים כמו GR00T. מודלים אלה מאומנים מראש באמצעות כמויות אדירות של צילומי וידאו אנושיים ולאחר מכן מכווננים עדין עם נתונים מדויקים המתקבלים באמצעות Isaac Capture. בדרך זו, אנו עוברים מרובוט שיודע רק כיצד לבצע משימה אחת במעבדה למכונות כלליות המסוגלות להסתגל לסביבות ביתיות או תעשייתיות בקלות מדהימה.
הארכיטקטורה הנוכחית של Isaac Capture והאיחוד שלה עם Isaac Lab מאפשרים להפוך כל מרחב פיזי לתאום דיגיטלי באמצעות סריקות LiDAR ו-Gaussian Splatting, ויוצרים מעגל סגור שבו לכידת נתונים אנושיים , סימולציה מסיבית ופריסה על חומרה אמיתית מוזנים בחזרה באופן מתמיד כדי להשיג אינטליגנציה מרחבית אמיתית.
שאלות נפוצות
מהו בעצם אייזק קפצ'ר בהקשר של רובוטיקה?
זוהי פלטפורמה המאחדת ניתוח מרחוק (teleoperation) ולכידת נתונים אנושיים לאימון רובוטים, ומאפשרת תרגום תנועות של אנשים לפעולות רובוטיות באמצעות ריטרגטינג.
האם ניתן להשתמש ב-Iazec Capture ללא משקפי מציאות מדומה?
כן, המערכת תומכת במצב עצמאי המאפשר שימוש במקלדות, בקרי משחק, SpaceMouse או זרועות הובלה פיזיות לשליטה ברובוט.
כיצד Isaac Capture עוזר לצמצם את הפער בין סימולציה למציאות?
זה מאפשר יצירת מערכי נתונים באיכות גבוהה המבוססים על הדגמות אנושיות אמיתיות ושימוש באקראי של תחומים כדי להפוך את הרובוט לעמיד בפני שינויים בסביבה הפיזית.
אילו מכשירים תואמים למעקב ידיים?
המערכת תואמת ל-Apple Vision Pro, Meta Quest 3, PICO 4 Ultra ולכפפות ייעודיות כמו אלו של המותג MANUS.
איזה תפקיד ממלא ריטרגטינג במערכת הזו?
ריטרגטינג פועל כמתרגם שמתאים את האנטומיה והתנועות של המפעיל האנושי למבנה ולמגבלות הפיזיות של הרובוט.
האם ניתן להרגיש מגע פיזי דרך לכידת אייזק?
כן, המערכת תומכת במשוב האפטי ששולח ויברציות לבקרים או לכפפות בהתאם לכוח המגע שזוהה בסימולציה.
כיצד הנתונים שנלכדו משולבים באימון הרובוט?
ההדגמות מוקלטות בקבצי HDF5 אשר לאחר מכן מעובדות על ידי מסגרות למידה חיקוי כמו Isaac Lab Mimic.