- Isaac Capture unifica la teleoperació robòtica i la captura de dades egocèntriques en un ecosistema modular compatible amb simulació i entorns reals.
- El sistema utilitza un flux de retargeting basat en grafs que tradueix moviments humans capturats per XR o guants a accions robòtiques precises.
- S'integra plenament amb Isaac Lab, cosa que permet generar datasets massius per a l'entrenament de models d'imitació i aprenentatge per reforç.
Si et mola la robòtica, sabràs que el gran maldecap sempre és aconseguir que el robot aprengui a moure's com nosaltres sense que trigui mil anys. Aquí és on entra en joc Isaac Capture , una eina que bàsicament serveix perquè puguem «guiar» el robot, ja sigui en un simulador oa la vida real, i gravar aquests moviments perquè la màquina els aprengui pel seu compte. És com donar un exemple pràctic al robot perquè no hagi d'endevinar com es fa una tasca.
El més potent d'aquest sistema és que no es queda només a moure un braç mecànic, sinó que barreja la teleoperació avançada amb la captura de dades des de la perspectiva de l'humà, cosa que es coneix com a flux egocèntric. Al final del dia, l'objectiu és alimentar algoritmes d'aprenentatge profund amb dades de qualitat, reduint aquesta bretxa tan molesta que hi ha entre el que passa a l'ordinador i el que passa quan el robot toca el terra de la fàbrica.
El cor d'Isaac Capture i el seu funcionament

Per entendre com va això, cal mirar els dos pilars. Per una banda tenim Isaac Teleop , que és el pont entre els nostres comandaments o visors i el robot. Aquest mòdul s'encarrega de agafar les dades de seguiment i passar-les per uns «traductors» anomenats retargeters , que ajusten l'anatomia humana a la del robot. D'altra banda, el pipeline ego (amb eines com EgoHand i EgoPost) s'encarrega de processar vídeos des de la vista de l'operador per reconstruir el moviment de les mans.
Tot aquest tinglado es recolza en un nucli compartit de plugins de dispositius i utilitats de dades. Això és una passada perquè us permet ampliar la vostra configuració de maquinari sense haver de programar cada integració des de zero. Bàsicament, el sistema llegeix l'entrada del dispositiu, la processa mitjançant el graf de retard i escup un tensor d'accions que el robot pot executar a l'instant.
Maquinari compatible i modes de control

La versatilitat és total. Pots fer servir cascos de realitat estesa (XR) com l'Apple Vision Pro, que ofereix un seguiment de 26 articulacions per mà, o anar-te'n a opcions més clàssiques com el Meta Quest 3 i el PICO 4 Ultra. Però compte, que no tot són visors; també pots integrar guants MANUS o exoesquelets Haptikos per aconseguir una precisió quirúrgica als dits, una cosa vital si estàs treballant amb mans robòtiques destreses.
Si no teniu un casc a mà, no passa res, perquè el sistema admet dispositius independents . Pots controlar el robot amb un teclat, un comandament de videojocs o fins i tot un SpaceMouse per tenir un control de 6 graus de llibertat. Fins i tot hi ha suport per a braços líders físics (com el SO-101), on mous un braç real i el robot simulat imita els angles de les articulacions en temps real, sense necessitat de càlculs complexos de cinemàtica inversa.
Integració amb Isaac Lab i el flux d´entrenament

Isaac Capture no viu sol, sinó que és una peça clau d' Isaac Lab . Aquest entorn permet entrenar polítiques robòtiques usant aprenentatge per reforç o imitació. El flux és senzill: teleoperes el robot, graves la demostració en arxius HDF5 i després fas servir eines com Isaac Lab Mimic perquè el model aprengui d'aquests exemples. A més, el sistema permet fer randomització de dominis , variant textures i físiques perquè el robot no es perdi quan canviï la il·luminació al món real.
Un detall tècnic molt rellevant és la capacitat d'executar el sistema en mode standalone . Això significa que pots capturar dades sense haver de renderitzar tota l'escena en un casc XR, cosa que estalvia moltíssims recursos computacionals. Per als que busquen el màxim realisme, la integració amb el motor de física Newton permet simular objectes deformables, teles i cables, cosa que fins ara era un maldecap a la simulació rígida tradicional.
La importància del retargeting i la retroalimentació

El retargeting basat en grafs és el que fa que la màgia funcioni. No és simplement copiar una posició, sinó mapejar la intenció humana. Per exemple, una encaixada de dits en un guant es tradueix en un senyal de tancament per al gripper del robot. Aquest procés és totalment configurable; pots passar dun control basat en controladors de moviment a un de seguiment de mans simplement canviant la funció del constructor en la configuració de lentorn.
Perquè l'operador no estigui cec, Isaac Capture implementa retroalimentació hàptica . Si el robot toca un objecte al simulador, el comandament de l'operador pot vibrar proporcionalment per força de l'impacte. En el cas dels guants hàptics, cada dit pot rebre un senyal diferent, permetent sentir què tan fort s'està agafant un objecte, cosa que millora dràsticament la qualitat de les demostracions gravades.
Optimització i desplegament al món real
Perquè tot això vagi fluid, NVIDIA ha optimitzat el renderitzat amb RTX i ha implementat el Deadline Pacing , que organitza el treball de retargeting perquè no bloquegi el bucle de simulació. Això és clau per evitar que l'operador senti lag, cosa que seria fatal en intentar fer tasques de precisió. A més, es pot configurar la visualització de depuració per veure esferes vermelles que representen les articulacions rastrejades i confirmar que tot està alineat.
Al final, tot aquest ecosistema cerca alimentar models fundacionals com GR00T. Aquests models es pre-entrenen amb quantitats massives de vídeos humans i després s'ajusten amb les dades precises obtingudes mitjançant Isaac Capture. D'aquesta manera, passem de tenir un robot que només sap fer una tasca en un laboratori a tenir màquines generalistes capaces d'adaptar-se a entorns domèstics o industrials amb facilitat sorprenent.
L'arquitectura actual d'Isaac Capture i la seva unió amb Isaac Lab permeten transformar qualsevol espai físic en un bessó digital mitjançant escanejats LiDAR i Gaussian Splatting, creant un cicle tancat on la captura de dades humanes , la simulació massiva i el desplegament en maquinari real es retroalimenten constantment per assolir una intel·ligència espacial real.
Preguntes freqüents
Què és exactament Isaac Capture en el context de la robòtica?
És una plataforma que unifica la teleoperació i la captura de dades humanes per entrenar robots, permetent traduir moviments de persones a accions robòtiques mitjançant retargeting.
Es pot fer servir Isaac Capture sense tenir un casc de realitat virtual?
Sí, el sistema admet el mode standalone que permet utilitzar teclats, comandaments de joc, SpaceMouse o braços líders físics per controlar el robot.
Com ajuda Isaac Capture a reduir la bretxa sim-to-real?
Permet generar datasets d'alta qualitat basats en demostracions humanes reals i utilitzar randomització de dominis perquè el robot sigui robust davant de canvis en l'entorn físic.
Quins dispositius són compatibles per al seguiment de les mans?
El sistema és compatible amb Apple Vision Pro, Meta Quest 3, PICO 4 Ultra i guants especialitzats com els de la marca MANUS.
Quina funció compleix el retargeting en aquest sistema?
El retargeting actua com un traductor que adapta l'anatomia i els moviments de l'operador humà a l'estructura i els límits físics del robot.
És possible sentir el contacte físic a través d'Isaac Capture?
Sí, el sistema suporta retroalimentació hàptica que envia vibracions als comandaments o guants segons la força de contacte detectada a la simulació.
Com s'integren les dades capturades a l'entrenament del robot?
Les demostracions es graven en fitxers HDF5 que després són processats per frameworks d'aprenentatge per imitació com Isaac Lab Mimic.