- Az Isaac Capture egyesíti a robotizált távműködést és az egocentrikus adatgyűjtést egy moduláris ökoszisztémában, amely kompatibilis a szimulációval és a valós környezetekkel.
- A rendszer egy gráf alapú újracélzási folyamatot alkalmaz, amely az XR vagy kesztyűk által rögzített emberi mozgásokat precíz robotikus műveletekké alakítja.
- Teljes mértékben integrálódik az Isaac Labbal, lehetővé téve hatalmas adathalmazok generálását az utánzásos és megerősítéses tanulási modellek betanításához.
Ha érdekel a robotika, akkor tudod, hogy a legnagyobb kihívás az, hogy megtanuljunk úgy mozogni, mint mi, anélkül, hogy ez egy örökkévalóságig tartana. Itt jön a képbe az Isaac Capture . Ez egy olyan eszköz, amely alapvetően lehetővé teszi, hogy „vezessük” a robotot, akár egy szimulátorban, akár a való életben, és rögzítsük ezeket a mozgásokat, hogy a gép magától megtanulhassa azokat. Olyan, mintha egy gyakorlati példát mutatnánk a robotnak, így nem kell találgatnia, hogyan kell elvégeznie egy feladatot.
A rendszer legerősebb tulajdonsága, hogy nem csupán egy robotkart mozgat, hanem a fejlett teleoperációt az emberi szemszögből történő adatgyűjtéssel ötvözi, amelyet egocentrikus áramlásnak neveznek. Végső soron a cél az, hogy a mélytanuló algoritmusokat kiváló minőségű adatokkal lássák el, áthidalva a frusztráló szakadékot a számítógépen történő események és a robot gyári padlóhoz való érintésekor ténylegesen bekövetkező események között.
Az Isaac Capture lelke és működése

Ahhoz, hogy megértsük, hogyan működik ez, meg kell vizsgálnunk a két pillérét. Egyrészt ott van az Isaac Teleop , amely a híd a kontrollereink vagy headsetjeink és a robot között. Ez a modul felelős a követési adatok rögzítéséért és azok továbbításáért „fordítókon”, úgynevezett retargetereken keresztül , amelyek az emberi anatómiát a robotéhoz igazítják. Másrészt az ego pipeline (olyan eszközökkel, mint az EgoHand és az EgoPost) felelős a kezelő szemszögéből származó videók feldolgozásáért a kézmozgások rekonstruálása érdekében.
Ez a teljes beállítás egy megosztott eszközbővítményekből és adatsegédprogramokból álló magra támaszkodik. Ez fantasztikus, mert lehetővé teszi a hardverkonfiguráció bővítését anélkül, hogy minden egyes integrációt a nulláról kellene programozni. Lényegében a rendszer beolvassa az eszközbemenetet, feldolgozza azt a retargeting gráf segítségével, és egy olyan művelettenzort ad ki, amelyet a bot azonnal végrehajthat.
Kompatibilis hardverek és vezérlési módok

A sokoldalúság teljes. Használhatsz kiterjesztett valóságú (XR) headseteket, mint például az Apple Vision Prót, amely kezenként 26 ízületes követést kínál, vagy választhatsz klasszikusabb modelleket, mint a Meta Quest 3 és a PICO 4 Ultra. De nem csak a headsetekről van szó; MANUS kesztyűket vagy Haptikos exoskeletonokat is integrálhatsz az ujjak sebészeti pontosságáért, ami létfontosságú, ha robotkezekkel dolgozol, amelyek kézügyességet igényelnek.
Ha nincs kéznél headset, az sem probléma, mert a rendszer támogatja az önálló eszközöket . A robotot billentyűzettel, játékvezérlővel, vagy akár egy SpaceMouse-szal is vezérelheted a 6 szabadságfokú vezérléshez. Még fizikai vezetőkarok (mint például az SO-101) is támogatottak, ahol egy valódi kart mozgatsz, és a szimulált robot valós időben utánozza az ízületi szögeket , komplex inverz kinematikai számítások nélkül.
Integráció az Isaac Labbal és a betanítási folyamattal

Az Isaac Capture nem önmagában létezik; az Isaac Lab kulcsfontosságú eleme . Ez a környezet lehetővé teszi a robotikai szabályok betanítását megerősítéses tanulás vagy utánzás segítségével. A munkafolyamat egyszerű: a robotot távvezéreljük, a demonstrációt HDF5 fájlokban rögzítjük, majd olyan eszközöket használunk, mint az Isaac Lab Mimic, hogy a példák alapján betanítsuk a modellt. Továbbá a rendszer lehetővé teszi a tartományok véletlenszerűsítését , a textúrák és a fizika változtatását, így a robot nem téved el, amikor a megvilágítás megváltozik a való világban.
Egy kulcsfontosságú technikai részlet a rendszer önálló üzemmódban való futtatásának képessége . Ez azt jelenti, hogy az adatokat anélkül lehet rögzíteni, hogy a teljes jelenetet XR sisakon kellene renderelni, ami jelentős számítási erőforrásokat takarít meg. Azok számára, akik a maximális realizmust keresik, a Newton fizikai motorral való integráció lehetővé teszi deformálható tárgyak, szövetek és kábelek szimulációját – ami a hagyományos merev szimulációkban komoly kihívást jelentett.
A retargeting és a visszajelzés fontossága

A gráf alapú újracélzás az , ami működik. Nem egyszerűen egy pozíció másolásáról van szó, hanem az emberi szándék feltérképezéséről. Például egy kesztyűn lévő ujj megszorítása közeli jelet küld a robot megfogójának. Ez a folyamat teljes mértékben konfigurálható; a mozgásvezérlő alapú vezérlésről a kézi követésre egyszerűen átválthatsz a konstruktor függvény módosításával a környezeti beállításokban.
Annak érdekében, hogy a kezelő ne legyen „vak”, az Isaac Capture haptikus visszajelzést alkalmaz . Ha a robot megérint egy tárgyat a szimulátorban, a kezelő vezérlője az ütközés erejével arányosan rezegni tud. Haptikus kesztyűk esetén minden ujj különálló jelet kaphat, így a kezelő érezheti, milyen szorosan szorít egy tárgyat, ami drámaian javítja a rögzített bemutatók minőségét.
Optimalizálás és telepítés a való világban
Annak érdekében, hogy minden zökkenőmentesen működjön, az NVIDIA optimalizálta a renderelést az RTX-szel, és bevezette a Deadline Pacing funkciót , amely úgy rendszerezi az újracélzási feladatokat, hogy azok ne blokkolják a szimulációs ciklust. Ez kulcsfontosságú a kezelő számára érzékelt késleltetés elkerülése érdekében, ami katasztrofális lenne a precíziós feladatok megpróbálásakor. Ezenkívül a hibakeresési vizualizáció konfigurálható úgy, hogy piros gömböket jelenítsen meg, amelyek a követett illesztéseket jelképezik, megerősítve, hogy minden a helyén van.
Végső soron ez az egész ökoszisztéma olyan alapvető modelleket kíván támogatni , mint a GR00T. Ezeket a modelleket hatalmas mennyiségű emberi videofelvétel felhasználásával előképezik, majd az Isaac Capture segítségével gyűjtött precíz adatokkal finomhangolják. Ily módon eljutunk attól a robottól, amely csak egyetlen laboratóriumi feladat elvégzését tudja, az általános gépekig, amelyek elképesztő könnyedséggel képesek alkalmazkodni a lakossági vagy ipari környezethez.
Az Isaac Capture jelenlegi architektúrája és az Isaac Labbel való egyesülése lehetővé teszi, hogy bármely fizikai teret digitális ikertestvérré alakítsunk át LiDAR szkennelések és Gauss-féle fröccsöntés segítségével, egy zárt ciklust hozva létre, ahol az emberi adatgyűjtés , a tömeges szimuláció és a valós hardvereken történő telepítés folyamatosan visszacsatolódik a valódi térbeli intelligencia elérése érdekében.
Preguntas frecuentes
Pontosan mit is jelent az Isaac Capture a robotika kontextusában?
Ez egy olyan platform, amely egyesíti a távműveletet és az emberi adatok rögzítését a robotok betanításához, lehetővé téve az emberek mozgásának robotikus cselekvésekké alakítását újracélzás (retargeting) segítségével.
Használható az Isaac Capture virtuális valóság headset nélkül?
Igen, a rendszer támogatja az önálló módot, amely lehetővé teszi billentyűzet, játékvezérlők, SpaceMouse vagy fizikai vezetőkarok használatát a robot vezérléséhez.
Hogyan segít az Isaac Capture csökkenteni a szimulált és a valós környezet közötti szakadékot?
Lehetővé teszi kiváló minőségű adatkészletek létrehozását valós emberi bemutatók alapján, és a tartományrandomizálás használatával a robot ellenállóvá válik a fizikai környezet változásaival szemben.
Mely eszközök kompatibilisek a kézkövetéssel?
A rendszer kompatibilis az Apple Vision Pro, a Meta Quest 3, a PICO 4 Ultra készülékekkel és speciális kesztyűkkel, például a MANUS márkájúakkal.
Milyen szerepet játszik a retargeting ebben a rendszerben?
Az újracélzás egyfajta fordítóként működik, amely az emberi operátor anatómiáját és mozgását a robot felépítéséhez és fizikai korlátaihoz igazítja.
Lehetséges fizikai kontaktust érezni az Isaac Capture segítségével?
Igen, a rendszer támogatja a haptikus visszajelzést, amely a szimulációban érzékelt érintkezési erőnek megfelelően rezgéseket küld a vezérlőknek vagy a kesztyűknek.
Hogyan integrálódnak a rögzített adatok a robot betanításába?
A bemutatókat HDF5 fájlokban rögzítik, amelyeket aztán utánzásos tanulási keretrendszerek, például az Isaac Lab Mimic dolgoznak fel.