- Isaac Capture forener robotisert teleoperasjon og egosentrisk datafangst i et modulært økosystem som er kompatibelt med simulering og virkelige miljøer.
- Systemet bruker en grafbasert retargeting-flyt som oversetter menneskelige bevegelser fanget av XR eller hansker til presise robothandlinger.
- Den integreres fullt ut med Isaac Lab, noe som tillater generering av massive datasett for trening av imitasjons- og forsterkningslæringsmodeller.
Hvis du er interessert i robotikk, vet du at den største utfordringen er å få en robot til å lære å bevege seg som oss uten at det tar evigheter. Det er her Isaac Capture kommer inn i bildet. Det er et verktøy som i bunn og grunn lar deg «veilede» roboten, enten i en simulator eller i virkeligheten, og registrere disse bevegelsene slik at maskinen kan lære dem på egenhånd. Det er som å gi roboten et praktisk eksempel, slik at den ikke trenger å gjette hvordan den skal utføre en oppgave.
Det kraftigste aspektet ved dette systemet er at det ikke bare beveger en robotarm; det kombinerer avansert teleoperasjon med datafangst fra et menneskelig perspektiv, kjent som egosentrisk flyt. Til syvende og sist er målet å mate dyp læringsalgoritmer med data av høy kvalitet, og bygge bro over det frustrerende gapet mellom hva som skjer på datamaskinen og hva som faktisk skjer når roboten berører fabrikkgulvet.
Hjertet i Isaac Capture og hvordan det fungerer

For å forstå hvordan dette fungerer, må vi se på de to søylene. På den ene siden har vi Isaac Teleop , som er broen mellom kontrollerne eller headsettene våre og roboten. Denne modulen er ansvarlig for å fange opp sporingsdataene og sende dem gjennom "oversettere" kalt retargetere , som justerer den menneskelige anatomien til robotens. På den andre siden er ego-pipelinen (med verktøy som EgoHand og EgoPost) ansvarlig for å behandle videoer fra operatørens synspunkt for å rekonstruere håndbevegelser.
Hele dette oppsettet er avhengig av en delt kjerne av enhetspluginer og dataverktøy. Dette er fantastisk fordi det lar deg utvide maskinvarekonfigurasjonen uten å måtte programmere hver integrasjon fra bunnen av. I hovedsak leser systemet inputen fra enheten, behandler den ved hjelp av retargeting-grafen og sender ut en tensor av handlinger som boten kan utføre umiddelbart.
Kompatibel maskinvare og kontrollmoduser

Allsidigheten er komplett. Du kan bruke XR-hodesett (Extended Reality) som Apple Vision Pro, som tilbyr sporing av 26 ledd per hånd, eller velge mer klassiske alternativer som Meta Quest 3 og PICO 4 Ultra. Men det handler ikke bare om hodesett; du kan også integrere MANUS-hansker eller Haptikos-eksoskjeletter for kirurgisk presisjon i fingrene, noe som er viktig hvis du jobber med robothender som krever fingerferdighet.
Hvis du ikke har et headset for hånden, er det ikke noe problem, siden systemet støtter frittstående enheter . Du kan kontrollere roboten med et tastatur, en spillkontroller eller til og med en SpaceMouse for kontroll med 6 frihetsgrader. Det er til og med støtte for fysiske ledearmer (som SO-101), der du beveger en ekte arm, og den simulerte roboten etterligner leddvinklene i sanntid, uten behov for komplekse inverse kinematikkberegninger.
Integrasjon med Isaac Lab og opplæringsflyten

Isaac Capture eksisterer ikke isolert; det er en nøkkelkomponent i Isaac Lab . Dette miljøet tillater trening av robotpolicyer ved hjelp av forsterkningslæring eller imitasjon. Arbeidsflyten er enkel: du teleopererer roboten, tar opp demonstrasjonen i HDF5-filer, og bruker deretter verktøy som Isaac Lab Mimic for å lære modellen fra disse eksemplene. Videre tillater systemet domenetilfeldighet , varierende teksturer og fysikk, slik at roboten ikke går seg vill når belysningen endres i den virkelige verden.
En viktig teknisk detalj er systemets evne til å kjøre i frittstående modus . Dette betyr at du kan fange opp data uten å måtte gjengi hele scenen på en XR-hjelm, noe som sparer betydelige beregningsressurser. For de som søker maksimal realisme, tillater integrasjonen med Newton-fysikkmotoren simulering av deformerbare objekter, tekstiler og kabler – noe som har vært en stor utfordring i tradisjonelle rigide simuleringer.
Viktigheten av retargeting og tilbakemeldinger

Det er grafbasert retargeting som får magien til å fungere. Det handler ikke bare om å kopiere en posisjon, men om å kartlegge menneskelig intensjon. For eksempel kan et fingerklem på en hanske oversettes til et nærhetssignal for robotens griper. Denne prosessen er fullt konfigurerbar; du kan bytte fra bevegelseskontrollerbasert kontroll til håndsporing ganske enkelt ved å endre konstruktørfunksjonen i miljøinnstillingene.
For å forhindre at operatøren blir «blind», implementerer Isaac Capture haptisk tilbakemelding . Hvis roboten berører et objekt i simulatoren, kan operatørens kontroller vibrere proporsjonalt med kraften fra støtet. Med haptiske hansker kan hver finger motta et distinkt signal, slik at operatøren kan føle hvor hardt de griper et objekt, noe som forbedrer kvaliteten på innspilte demonstrasjoner dramatisk.
Optimalisering og distribusjon i den virkelige verden
For å sikre at alt går knirkefritt, har NVIDIA optimalisert gjengivelse med RTX og implementert Deadline Pacing , som organiserer retargeting-oppgaver for å forhindre at de blokkerer simuleringsløkken. Dette er avgjørende for å unngå opplevd forsinkelse for operatøren, noe som ville være katastrofalt når man prøver presisjonsoppgaver. I tillegg kan feilsøkingsvisualiseringen konfigureres til å vise røde kuler som representerer sporede skjøter, noe som bekrefter at alt er justert.
Til syvende og sist har hele dette økosystemet som mål å mate grunnleggende modeller som GR00T. Disse modellene er forhåndstrent ved hjelp av enorme mengder menneskelig videoopptak og deretter finjustert med presise data innhentet gjennom Isaac Capture. På denne måten går vi fra å ha en robot som bare vet hvordan man utfører én oppgave i et laboratorium til å ha generalistmaskiner som er i stand til å tilpasse seg hjemlige eller industrielle miljøer med forbløffende letthet.
Isaac Captures nåværende arkitektur og dens forening med Isaac Lab gjør det mulig å transformere ethvert fysisk rom til en digital tvilling gjennom LiDAR-skanninger og Gaussisk splatting, noe som skaper en lukket syklus der menneskelig datafangst , massiv simulering og distribusjon på ekte maskinvare kontinuerlig mates tilbake for å oppnå ekte romlig intelligens.
Vanlige spørsmål
Hva er egentlig Isaac Capture i robotikksammenheng?
Det er en plattform som forener teleoperasjon og innsamling av menneskelige data for å trene roboter, slik at folks bevegelser kan oversettes til robothandlinger gjennom retargeting.
Kan Isaac Capture brukes uten et virtual reality-headset?
Ja, systemet støtter frittstående modus som tillater bruk av tastaturer, spillkontrollere, SpaceMouse eller fysiske ledende armer for å kontrollere roboten.
Hvordan bidrar Isaac Capture til å redusere gapet mellom sim og virkelighet?
Det tillater generering av datasett av høy kvalitet basert på reelle menneskelige demonstrasjoner og bruk av domenetilfeldighet for å gjøre roboten robust mot endringer i det fysiske miljøet.
Hvilke enheter er kompatible for håndsporing?
Systemet er kompatibelt med Apple Vision Pro, Meta Quest 3, PICO 4 Ultra og spesialhansker som de fra MANUS-merket.
Hvilken rolle spiller retargeting i dette systemet?
Retargeting fungerer som en oversetter som tilpasser anatomien og bevegelsene til den menneskelige operatøren til robotens struktur og fysiske begrensninger.
Er det mulig å føle fysisk kontakt gjennom Isaac Capture?
Ja, systemet støtter haptisk tilbakemelding som sender vibrasjoner til kontrollerne eller hanskene i henhold til kontaktkraften som oppdages i simuleringen.
Hvordan integreres de innsamlede dataene i robotens trening?
Demonstrasjonene tas opp i HDF5-filer som deretter behandles av imitasjonslæringsrammeverk som Isaac Lab Mimic.