- Isaac Capture objedinjuje robotsku teleoperaciju i egocentrično prikupljanje podataka u modularnom ekosistemu kompatibilnom sa simulacijom i stvarnim okruženjima.
- Sistem koristi tok ponovnog ciljanja zasnovan na grafovima koji pretvara ljudske pokrete snimljene XR-om ili rukavicama u precizne robotske akcije.
- U potpunosti se integrira s Isaac Labom, omogućavajući generiranje ogromnih skupova podataka za obuku modela imitacije i učenja s potkrepljenjem.
Ako se bavite robotikom, znate da je najveći izazov naučiti robota da se kreće poput nas, a da to ne traje vječno. Tu na scenu stupa Isaac Capture . To je alat koji vam u osnovi omogućava da "vodite" robota, bilo u simulatoru ili u stvarnom životu, i snimate te pokrete kako bi ih mašina mogla sama naučiti. To je kao da robotu dajete praktičan primjer kako ne bi morao pogađati kako da izvrši zadatak.
Najmoćniji aspekt ovog sistema je to što ne samo da pomiče robotsku ruku; on kombinuje naprednu teleoperaciju sa snimanjem podataka iz ljudske perspektive, poznatim kao egocentrični tok. Krajnji cilj je da se algoritmi dubokog učenja snabdiju visokokvalitetnim podacima, premošćujući frustrirajući jaz između onoga što se dešava na računaru i onoga što se zapravo dešava kada robot dodirne fabričku površinu.
Srce Isaac Capturea i kako funkcioniše

Da bismo razumjeli kako ovo funkcioniše, moramo pogledati njegova dva stuba. S jedne strane, imamo Isaaca Teleopa , koji je most između naših kontrolera ili slušalica i robota. Ovaj modul je odgovoran za prikupljanje podataka o praćenju i njihovo prosljeđivanje kroz "prevodioce" koji se nazivaju retargeteri , a koji prilagođavaju ljudsku anatomiju anatomiji robota. S druge strane, ego pipeline (s alatima poput EgoHand i EgoPost) je odgovoran za obradu videa iz perspektive operatera kako bi se rekonstruisali pokreti ruku.
Cijela ova postavka se oslanja na zajedničku jezgru dodataka uređaja i uslužnih programa za podatke. Ovo je fantastično jer vam omogućava da proširite konfiguraciju hardvera bez potrebe da programirate svaku integraciju od nule. U suštini, sistem čita ulazne podatke uređaja, obrađuje ih pomoću grafa ponovnog ciljanja i ispisuje tenzor akcija koje bot može odmah izvršiti.
Kompatibilni hardver i načini upravljanja

Svestranost je potpuna. Možete koristiti naočale s proširenom stvarnošću (XR) poput Apple Vision Pro, koje nude praćenje 26 zglobova po ruci, ili se odlučiti za klasičnije opcije poput Meta Quest 3 i PICO 4 Ultra. Ali nije sve u naočalama; možete integrirati i MANUS rukavice ili Haptikos egzoskelete za hiruršku preciznost u prstima, što je ključno ako radite s robotskim rukama koje zahtijevaju spretnost.
Ako nemate slušalice pri ruci, nema problema, jer sistem podržava samostalne uređaje . Robota možete kontrolirati pomoću tastature, kontrolera za igre ili čak SpaceMousea za kontrolu sa 6 stepeni slobode. Postoji čak i podrška za fizičke vodeće ruke (kao što je SO-101), gdje pomičete pravu ruku, a simulirani robot oponaša uglove zglobova u stvarnom vremenu, bez potrebe za složenim inverznim kinematičkim proračunima.
Integracija sa Isaac Labom i tok obuke

Isaac Capture ne postoji izolovano; on je ključna komponenta Isaac Laba . Ovo okruženje omogućava obuku robotskih politika korištenjem učenja s pojačanjem ili imitacije. Tok rada je jednostavan: teleoperirate robota, snimate demonstraciju u HDF5 datoteke, a zatim koristite alate poput Isaac Lab Mimic-a za učenje modela iz tih primjera. Nadalje, sistem omogućava randomizaciju domena , variranje tekstura i fizike tako da se robot ne izgubi kada se osvjetljenje promijeni u stvarnom svijetu.
Ključni tehnički detalj je sposobnost sistema da radi u samostalnom režimu . To znači da možete snimati podatke bez potrebe za renderovanjem cijele scene na XR kacigi, što značajno štedi računarske resurse. Za one koji traže maksimalan realizam, integracija sa Newtonovim fizičkim mehanizmom omogućava simulaciju deformabilnih objekata, tkanina i kablova - nešto što je bio veliki izazov u tradicionalnim krutim simulacijama.
Važnost ponovnog ciljanja i povratnih informacija

Retargetiranje zasnovano na grafovima je ono što čini da magija funkcioniše. Ne radi se samo o kopiranju pozicije, već o mapiranju ljudske namjere. Na primjer, stisak prsta na rukavici pretvara se u signal za zatvaranje za hvataljku robota. Ovaj proces je potpuno konfigurabilan; možete se prebaciti sa upravljanja zasnovanog na kontroleru pokreta na praćenje ruke jednostavnom promjenom konstruktorske funkcije u postavkama okruženja.
Kako bi se spriječilo da operater bude "slijep", Isaac Capture implementira haptičku povratnu informaciju . Ako robot dodirne objekt u simulatoru, kontroler operatera može vibrirati proporcionalno sili udara. U slučaju haptičkih rukavica, svaki prst može primiti zaseban signal, što omogućava operateru da osjeti koliko čvrsto hvata objekt, što dramatično poboljšava kvalitet snimljenih demonstracija.
Optimizacija i implementacija u stvarnom svijetu
Kako bi se osiguralo da sve teče glatko, NVIDIA je optimizirala renderiranje s RTX-om i implementirala Deadline Pacing , koji organizira zadatke ponovnog ciljanja kako bi se spriječilo blokiranje simulacijske petlje. Ovo je ključno kako bi se izbjeglo bilo kakvo uočeno kašnjenje za operatera, što bi bilo katastrofalno pri pokušaju preciznih zadataka. Osim toga, vizualizacija za otklanjanje grešaka može se konfigurirati da prikazuje crvene sfere koje predstavljaju praćene zglobove, potvrđujući da je sve poravnato.
U konačnici, cijeli ovaj ekosistem ima za cilj da hrani osnovne modele poput GR00T. Ovi modeli su prethodno obučeni korištenjem ogromnih količina ljudskih video snimaka, a zatim fino podešeni preciznim podacima dobijenim putem Isaac Capture-a. Na ovaj način prelazimo sa robota koji zna kako izvršiti samo jedan zadatak u laboratoriji na univerzalne mašine sposobne da se prilagode kućnim ili industrijskim okruženjima sa zapanjujućom lakoćom.
Trenutna arhitektura Isaac Capture-a i njena unija s Isaac Labom omogućavaju transformaciju bilo kojeg fizičkog prostora u digitalnog blizanca putem LiDAR skeniranja i Gaussian Splatting-a, stvarajući zatvoreni ciklus u kojem se prikupljanje ljudskih podataka , masovna simulacija i implementacija na stvarnom hardveru konstantno vraćaju kako bi se postigla stvarna prostorna inteligencija.
Često postavljana pitanja
Šta je tačno Isaac Capture u kontekstu robotike?
To je platforma koja objedinjuje teleoperaciju i prikupljanje ljudskih podataka za obuku robota, omogućavajući prevođenje ljudskih pokreta u robotske akcije putem ponovnog ciljanja.
Može li se Isaac Capture koristiti bez naočala za virtualnu stvarnost?
Da, sistem podržava samostalni način rada koji omogućava korištenje tastatura, kontrolera za igre, SpaceMouse-a ili fizičkih vodećih ruku za upravljanje robotom.
Kako Isaac Capture pomaže u smanjenju jaza između simulacije i stvarnog svijeta?
Omogućava generiranje visokokvalitetnih skupova podataka na osnovu stvarnih ljudskih demonstracija i korištenje randomizacije domena kako bi robot bio otporan na promjene u fizičkom okruženju.
Koji su uređaji kompatibilni za praćenje ruku?
Sistem je kompatibilan sa Apple Vision Pro, Meta Quest 3, PICO 4 Ultra i specijaliziranim rukavicama poput onih marke MANUS.
Kakvu ulogu retargeting igra u ovom sistemu?
Retargeting djeluje kao prevodilac koji prilagođava anatomiju i pokrete ljudskog operatera strukturi i fizičkim ograničenjima robota.
Da li je moguće osjetiti fizički kontakt putem Isaac Capturea?
Da, sistem podržava haptičku povratnu informaciju koja šalje vibracije kontrolerima ili rukavicama u skladu sa kontaktnom silom detektovanom u simulaciji.
Kako se prikupljeni podaci integrišu u obuku robota?
Demonstracije se snimaju u HDF5 datoteke koje se zatim obrađuju pomoću okvira za imitaciju učenja kao što je Isaac Lab Mimic.