- Isaac Capture unifica la teleoperación robótica y la captura de datos egocéntricos en un ecosistema modular compatible con simulación y entornos reales.
- El sistema emplea un flujo de retargeting basado en grafos que traduce movimientos humanos capturados por XR o guantes a acciones robóticas precisas.
- Se integra plenamente con Isaac Lab, permitiendo generar datasets masivos para el entrenamiento de modelos de imitación y aprendizaje por refuerzo.
Si te mola la robótica, sabrás que el gran quebradero de cabeza siempre es conseguir que el robot aprenda a moverse como nosotros sin que tarde mil años. Aquí es donde entra en juego Isaac Capture, una herramienta que básicamente sirve para que podamos «guiar» al robot, ya sea en un simulador o en la vida real, y grabar esos movimientos para que la máquina los aprenda por su cuenta. Es como darle un ejemplo práctico al robot para que no tenga que adivinar cómo se hace una tarea.
Lo más potente de este sistema es que no se queda solo en mover un brazo mecánico, sino que mezcla la teleoperación avanzada con la captura de datos desde la perspectiva del humano, lo que se conoce como flujo egocéntrico. Al final del día, el objetivo es alimentar algoritmos de aprendizaje profundo con datos de calidad, reduciendo esa brecha tan molesta que hay entre lo que pasa en el ordenador y lo que ocurre cuando el robot toca el suelo de la fábrica.
El corazón de Isaac Capture y su funcionamiento

Para entender cómo va esto, hay que mirar sus dos pilares. Por un lado tenemos Isaac Teleop, que es el puente entre nuestros mandos o visores y el robot. Este módulo se encarga de pillar los datos de seguimiento y pasarlos por unos «traductores» llamados retargeters, que ajustan la anatomía humana a la del robot. Por otro lado, el pipeline ego (con herramientas como EgoHand y EgoPost) se encarga de procesar vídeos desde la vista del operador para reconstruir el movimiento de las manos.
Todo este tinglado se apoya en un núcleo compartido de plugins de dispositivos y utilidades de datos. Esto es una pasada porque te permite ampliar tu configuración de hardware sin tener que programar cada integración desde cero. Básicamente, el sistema lee la entrada del dispositivo, la procesa mediante el grafo de retargeting y escupe un tensor de acciones que el robot puede ejecutar al instante.
Hardware compatible y modos de control

La versatilidad es total. Puedes usar cascos de realidad extendida (XR) como el Apple Vision Pro, que ofrece un seguimiento de 26 articulaciones por mano, o irte a opciones más clásicas como el Meta Quest 3 y el PICO 4 Ultra. Pero ojo, que no todo son visores; también puedes integrar guantes MANUS o exoesqueletos Haptikos para conseguir una precisión quirúrgica en los dedos, algo vital si estás trabajando con manos robóticas destrezas.
Si no tienes un casco a mano, no pasa nada, porque el sistema admite dispositivos independientes. Puedes controlar el robot con un teclado, un mando de videojuegos o incluso un SpaceMouse para tener un control de 6 grados de libertad. Incluso hay soporte para brazos líderes físicos (como el SO-101), donde mueves un brazo real y el robot simulado imita los ángulos de las articulaciones en tiempo real, sin necesidad de cálculos complejos de cinemática inversa.
Integración con Isaac Lab y el flujo de entrenamiento

Isaac Capture no vive solo, sino que es una pieza clave de Isaac Lab. Este entorno permite entrenar políticas robóticas usando aprendizaje por refuerzo o imitación. El flujo es sencillo: teleoperas el robot, grabas la demostración en archivos HDF5 y luego usas herramientas como Isaac Lab Mimic para que el modelo aprenda de esos ejemplos. Además, el sistema permite hacer randomización de dominios, variando texturas y físicas para que el robot no se pierda cuando cambie la iluminación en el mundo real.
Un detalle técnico muy relevante es la capacidad de ejecutar el sistema en modo standalone. Esto significa que puedes capturar datos sin tener que renderizar toda la escena en un casco XR, lo que ahorra muchísimos recursos computacionales. Para los que buscan el máximo realismo, la integración con el motor de física Newton permite simular objetos deformables, telas y cables, algo que hasta ahora era un dolor de cabeza en la simulación rígida tradicional.
La importancia del retargeting y la retroalimentación

El retargeting basado en grafos es lo que hace que la magia funcione. No es simplemente copiar una posición, sino mapear la intención humana. Por ejemplo, un apretón de dedos en un guante se traduce en una señal de cierre para el gripper del robot. Este proceso es totalmente configurable; puedes pasar de un control basado en controladores de movimiento a uno de seguimiento de manos simplemente cambiando la función del constructor en la configuración del entorno.
Para que el operador no esté «ciego», Isaac Capture implementa retroalimentación háptica. Si el robot toca un objeto en el simulador, el mando del operador puede vibrar proporcionalmente a la fuerza del impacto. En el caso de los guantes hápticos, cada dedo puede recibir una señal distinta, permitiendo sentir qué tan fuerte se está agarrando un objeto, lo que mejora drásticamente la calidad de las demostraciones grabadas.
Optimización y despliegue en el mundo real
Para que todo esto vaya fluido, NVIDIA ha optimizado el renderizado con RTX y ha implementado el Deadline Pacing, que organiza el trabajo de retargeting para que no bloquee el bucle de simulación. Esto es clave para evitar que el operador sienta lag, lo cual sería fatal al intentar realizar tareas de precisión. Además, se puede configurar la visualización de depuración para ver esferas rojas que representan las articulaciones rastreadas y confirmar que todo está alineado.
Al final, todo este ecosistema busca alimentar modelos fundacionales como GR00T. Estos modelos se pre-entrenan con cantidades masivas de vídeos humanos y luego se ajustan con los datos precisos obtenidos mediante Isaac Capture. De esta forma, pasamos de tener un robot que solo sabe hacer una tarea en un laboratorio a tener máquinas generalistas capaces de adaptarse a entornos domésticos o industriales con una facilidad pasmosa.
La arquitectura actual de Isaac Capture y su unión con Isaac Lab permiten transformar cualquier espacio físico en un gemelo digital mediante escaneos LiDAR y Gaussian Splatting, creando un ciclo cerrado donde la captura de datos humanos, la simulación masiva y el despliegue en hardware real se retroalimentan constantemente para alcanzar una inteligencia espacial real.
Preguntas frecuentes
¿Qué es exactamente Isaac Capture en el contexto de la robótica?
Es una plataforma que unifica la teleoperación y la captura de datos humanos para entrenar robots, permitiendo traducir movimientos de personas a acciones robóticas mediante retargeting.
¿Se puede utilizar Isaac Capture sin tener un casco de realidad virtual?
Sí, el sistema admite el modo standalone que permite usar teclados, mandos de juego, SpaceMouse o brazos líderes físicos para controlar el robot.
¿Cómo ayuda Isaac Capture a reducir la brecha sim-to-real?
Permite generar datasets de alta calidad basados en demostraciones humanas reales y utilizar randomización de dominios para que el robot sea robusto ante cambios en el entorno físico.
¿Qué dispositivos son compatibles para el seguimiento de las manos?
El sistema es compatible con el Apple Vision Pro, Meta Quest 3, PICO 4 Ultra y guantes especializados como los de la marca MANUS.
¿Qué función cumple el retargeting en este sistema?
El retargeting actúa como un traductor que adapta la anatomía y los movimientos del operador humano a la estructura y límites físicos del robot.
¿Es posible sentir el contacto físico a través de Isaac Capture?
Sí, el sistema soporta retroalimentación háptica que envía vibraciones a los mandos o guantes según la fuerza de contacto detectada en la simulación.
¿Cómo se integran los datos capturados en el entrenamiento del robot?
Las demostraciones se graban en archivos HDF5 que luego son procesados por frameworks de aprendizaje por imitación como Isaac Lab Mimic.