- Isaac Capture 將機器人遠端操作和以自我為中心的資料擷取統一到一個模組化的生態系統中,與模擬和現實世界環境相容。
- 該系統採用基於圖形的重定向流程,將 XR 或手套捕捉到的人體動作轉化為精確的機器人動作。
- 它與 Isaac Lab 完全集成,可以產生海量資料集,用於訓練模仿和強化學習模型。
如果你對機器人感興趣,你肯定知道最大的挑戰是如何讓機器人快速學會像我們一樣移動。而Isaac Capture正好可以解決這個問題。它是一款工具,可以讓你在模擬器或現實生活中「引導」機器人,並記錄下這些動作,以便機器能夠自主學習。這就像給機器人一個實際的例子,讓它不必猜測如何完成任務。
此系統最強大的地方在於,它不僅能控制機械手臂的移動,還能將先進的遠端操控技術與以人為本的資料收集(即以自我為中心的流程)結合。最終目標是為深度學習演算法提供高品質數據,從而彌合電腦模擬與機器人實際操作之間令人頭痛的差距。
《以撒的俘虜》的核心及其運作方式

要理解其工作原理,我們需要了解它的兩大支柱。一方面是Isaac Teleop,它是控制器或頭戴式設備與機器人之間的橋樑。該模組負責採集追蹤數據,並將其傳遞給稱為重定向器的「轉換器」,這些轉換器會將人體解剖結構調整為與機器人相匹配。另一方面,自我中心管道(包含 EgoHand 和 EgoPost 等工具)負責處理來自操作者視角的視頻,以重建手部動作。
整個系統依賴共享的核心設備插件和資料工具。這非常棒,因為它允許您擴展硬體配置,而無需從頭開始編寫每個整合程式。本質上,系統讀取設備輸入,使用重定向圖進行處理,並輸出一個機器人可以立即執行的動作張量。
相容的硬體和控制模式

這款設備功能全面。您可以選擇使用擴充實境 (XR) 頭戴裝置,例如 Apple Vision Pro,它能實現單手 26 個關節的追蹤;也可以選擇 Meta Quest 3 和 PICO 4 Ultra 等更經典的頭顯。但它的功能遠不止於頭戴裝置;您還可以整合MANUS 手套或 Haptikos 外骨骼,實現手指的精準操作,這對於需要靈巧操作的機械手至關重要。
如果您手邊沒有頭戴式設備,也沒關係,因為該系統支援獨立設備。您可以使用鍵盤、遊戲手柄,甚至 SpaceMouse 來控制機器人,實現六自由度控制。它還支援物理引導臂(例如 SO-101),您只需移動真實的機械手臂,模擬機器人就能即時模仿關節角度,無需複雜的逆運動學計算。
與 Isaac Lab 的整合及訓練流程

Isaac Capture並非獨立存在,它是Isaac Lab的關鍵元件。該環境支援使用強化學習或模仿來訓練機器人策略。工作流程很簡單:遠端操控機器人,將演示過程錄製成HDF5文件,然後使用Isaac Lab Mimic等工具,根據這些範例來訓練模型。此外,該系統還支援域隨機化、紋理和物理效果的變化,從而確保機器人在現實世界光照變化時不會迷失方向。
該系統的一項關鍵技術細節在於其獨立運作能力。這意味著無需在XR頭盔上渲染整個場景即可擷取數據,從而節省大量運算資源。對於追求極致真實感的使用者而言,與牛頓物理引擎的整合使得模擬可變形物體、織物和纜繩成為可能——這在傳統的剛性模擬中一直是個難題。
重定向和反饋的重要性

基於圖的重定向是實現此功能的關鍵。它並非簡單地複製位置,而是映射人類的意圖。例如,手指捏手套的動作會轉化為機器人夾爪的接近訊號。這個過程完全可配置;只需更改環境設定中的建構函數,即可在基於運動控制器的控制和手部追蹤之間切換。
為了防止操作員“盲目操作”,Isaac Capture 採用了觸覺回饋技術。如果機器人碰到模擬器中的物體,操作員的控制器會根據衝擊力的大小進行相應程度的振動。對於觸覺手套,每個手指都能接收不同的訊號,使操作員能夠感受到抓握物體的力度,從而顯著提高演示錄製的品質。
實際應用中的最佳化與部署
為了確保一切運作流暢,NVIDIA 優化了 RTX 的渲染效能,並實現了Deadline Pacing 技術,該技術能夠合理地安排重定向任務,防止它們阻塞模擬循環。這對於避免操作員感知到任何延遲至關重要,因為在執行精細操作時,延遲會造成災難性的後果。此外,調試視覺化介面還可以配置為顯示代表已追蹤關節的紅色球體,以確認所有部件均已對齊。
最終,整個生態系統的目標是為 GR00T 等基礎模型提供訓練資料。這些模型使用海量的人類視訊素材進行預先訓練,然後透過 Isaac Capture 取得的精確資料進行微調。這樣,我們就能夠從只能在實驗室執行單一任務的機器人,發展到能夠輕鬆適應家庭或工業環境的通用機器。
Isaac Capture 目前的架構及其與 Isaac Lab 的結合,使得任何實體空間都能透過雷射雷達掃描和高斯散射技術轉化為數位孿生,從而形成一個閉環,其中人類資料收集、大規模模擬和在真實硬體上的部署不斷得到反饋,以實現真正的空間智慧。
Preguntas frecuentes
在機器人學領域,Isaac Capture究竟是什麼?
這是一個將遠端操作和人類資料收集結合的平台,用於訓練機器人,透過重定向將人的動作轉化為機器人動作。
Isaac Capture 可以在不使用虛擬實境頭戴裝置的情況下使用嗎?
是的,該系統支援獨立模式,允許使用鍵盤、遊戲控制器、SpaceMouse 或實體引導臂來控制機器人。
Isaac Capture 如何幫助縮小模擬與現實之間的差距?
它能夠基於真實的人類演示生成高品質的數據集,並使用領域隨機化使機器人能夠應對物理環境的變化。
哪些設備相容於手部追蹤功能?
該系統相容於 Apple Vision Pro、Meta Quest 3、PICO 4 Ultra 以及 MANUS 等品牌的專用手套。
在這個系統中,重定向扮演著什麼角色?
重定向技術就像一個翻譯器,它將人類操作員的解剖結構和動作調整為機器人的結構和物理限制。
是否可以透過 Isaac Capture 感受到身體接觸?
是的,該系統支援觸覺回饋,可根據模擬中檢測到的接觸力向控制器或手套發送振動。
如何將採集到的資料整合到機器人的訓練過程中?
演示過程被記錄在 HDF5 文件中,然後由 Isaac Lab Mimic 等模仿學習框架進行處理。