- Isaac Capture, robotik uzaktan kumanda ve benmerkezci veri yakalamayı, simülasyon ve gerçek dünya ortamlarıyla uyumlu modüler bir ekosistemde birleştirir.
- Sistem, XR veya eldivenler tarafından yakalanan insan hareketlerini hassas robotik eylemlere dönüştüren, grafik tabanlı bir yeniden hedefleme akışı kullanır.
- Isaac Lab ile tam entegrasyon sağlayarak, taklit ve pekiştirmeli öğrenme modellerinin eğitimi için büyük veri kümelerinin oluşturulmasına olanak tanır.
Robotikle ilgileniyorsanız, en büyük zorluğun bir robotun sonsuza kadar sürmeden bizim gibi hareket etmeyi öğrenmesini sağlamak olduğunu bilirsiniz. İşte burada Isaac Capture devreye giriyor . Temelde, robotu bir simülatörde veya gerçek hayatta "yönlendirmenizi" ve bu hareketleri kaydetmenizi sağlayan bir araçtır, böylece makine bunları kendi kendine öğrenebilir. Bu, robota pratik bir örnek vermek gibidir, böylece bir görevi nasıl yapacağını tahmin etmek zorunda kalmaz.
Bu sistemin en güçlü yönü, sadece robotik bir kolu hareket ettirmekle kalmaması; gelişmiş uzaktan kumandayı, insan bakış açısından veri yakalama ile birleştirmesidir; bu da egosantrik akış olarak bilinir. Nihai amaç, derin öğrenme algoritmalarını yüksek kaliteli verilerle besleyerek, bilgisayarda olanlar ile robot fabrika zeminine dokunduğunda gerçekte olanlar arasındaki sinir bozucu boşluğu kapatmaktır.
Isaac Capture'ın özü ve çalışma prensibi
Bunun nasıl çalıştığını anlamak için iki temel unsuruna bakmamız gerekiyor. Bir yandan, kontrol cihazlarımız veya kulaklıklarımız ile robot arasında köprü görevi gören Isaac Teleop modülü var. Bu modül, izleme verilerini yakalamaktan ve insan anatomisini robotunkine uyarlayan "çeviriciler" olan yeniden hedefleyiciler aracılığıyla iletmekten sorumludur. Öte yandan, Ego işlem hattı (EgoHand ve EgoPost gibi araçlarla), operatörün bakış açısından videoları işleyerek el hareketlerini yeniden oluşturmaktan sorumludur.
Bu kurulumun tamamı, paylaşılan bir cihaz eklentileri ve veri yardımcı programları çekirdeğine dayanmaktadır. Bu harika çünkü her entegrasyonu sıfırdan programlamak zorunda kalmadan donanım yapılandırmanızı genişletmenize olanak tanıyor . Esasen, sistem cihaz girişini okur, yeniden hedefleme grafiğini kullanarak işler ve botun anında yürütebileceği bir eylem tensörü çıktısı verir.
Uyumlu donanım ve kontrol modları
Çok yönlülük tam anlamıyla eksiksiz. Apple Vision Pro gibi, her elde 26 eklem takibi sunan genişletilmiş gerçeklik (XR) başlıklarını kullanabilir veya Meta Quest 3 ve PICO 4 Ultra gibi daha klasik seçenekleri tercih edebilirsiniz. Ancak her şey başlıklardan ibaret değil; özellikle el becerisi gerektiren robotik ellerle çalışıyorsanız, parmaklarda cerrahi hassasiyet için MANUS eldivenlerini veya Haptikos dış iskeletlerini de entegre edebilirsiniz .
Eğer yanınızda kulaklık yoksa sorun değil, çünkü sistem bağımsız cihazları destekliyor . Robotu klavye, oyun kumandası veya hatta 6 serbestlik dereceli kontrol için SpaceMouse ile kontrol edebilirsiniz. Hatta gerçek bir kolu hareket ettirdiğinizde simüle edilen robotun eklem açılarını gerçek zamanlı olarak taklit ettiği (SO-101 gibi) fiziksel ön kol desteği bile mevcut; böylece karmaşık ters kinematik hesaplamalarına gerek kalmıyor.
Isaac Lab ile entegrasyon ve eğitim akışı
Isaac Capture tek başına var olan bir şey değil; Isaac Lab'ın önemli bir bileşenidir . Bu ortam, takviyeli öğrenme veya taklit yoluyla robotik politikaların eğitilmesine olanak tanır. İş akışı basittir: robotu uzaktan kumanda edersiniz, gösteriyi HDF5 dosyalarına kaydedersiniz ve ardından Isaac Lab Mimic gibi araçları kullanarak modeli bu örneklerden eğitirsiniz. Dahası, sistem alan rastgeleleştirmesine , değişen dokulara ve fiziğe olanak tanıyarak robotun gerçek dünyadaki aydınlatma değiştiğinde kaybolmamasını sağlar.
Önemli bir teknik detay, sistemin bağımsız modda çalışabilme özelliğidir . Bu, XR kaskında tüm sahneyi oluşturmak zorunda kalmadan veri yakalayabileceğiniz ve önemli ölçüde hesaplama kaynağı tasarrufu sağlayabileceğiniz anlamına gelir. Maksimum gerçekçilik arayanlar için, Newton fizik motoruyla entegrasyon, geleneksel katı simülasyonlarda büyük bir zorluk olan deforme olabilen nesnelerin, kumaşların ve kabloların simülasyonuna olanak tanır.
Yeniden hedefleme ve geri bildirimin önemi
Grafik tabanlı yeniden hedefleme, bu işin sırrını ortaya koyuyor . Sadece bir pozisyonu kopyalamak değil, insan niyetini haritalamak söz konusu. Örneğin, bir eldivene parmakla yapılan sıkıştırma, robotun tutucusu için bir kapatma sinyaline dönüşüyor. Bu süreç tamamen yapılandırılabilir; ortam ayarlarındaki yapıcı fonksiyonu değiştirerek hareket kontrol cihazına dayalı kontrolden el takibine geçiş yapabilirsiniz.
Operatörün "kör" olmasını önlemek için Isaac Capture, dokunsal geri bildirim özelliğini kullanır . Robot simülatördeki bir nesneye dokunduğunda, operatörün kumandası darbenin kuvvetine orantılı olarak titreşebilir. Dokunsal eldivenler söz konusu olduğunda, her parmak ayrı bir sinyal alabilir; bu da operatörün bir nesneyi ne kadar sıkı kavradığını hissetmesini sağlar ve kaydedilen gösterilerin kalitesini önemli ölçüde artırır.
Gerçek dünyada optimizasyon ve uygulama
Her şeyin sorunsuz çalışmasını sağlamak için NVIDIA, RTX ile render işlemini optimize etti ve simülasyon döngüsünü engellemelerini önlemek için yeniden hedefleme görevlerini düzenleyen Deadline Pacing özelliğini uyguladı. Bu, operatör için algılanan herhangi bir gecikmeyi önlemek açısından çok önemlidir; bu gecikme, hassas görevler yapılırken felaket olabilir. Ek olarak, hata ayıklama görselleştirmesi , izlenen eklemleri temsil eden kırmızı küreler gösterecek şekilde yapılandırılabilir ve her şeyin hizalandığını doğrular.
Sonuç olarak, bu ekosistemin tamamı GR00T gibi temel modelleri beslemeyi amaçlamaktadır . Bu modeller, büyük miktarda insan video görüntüsü kullanılarak önceden eğitilir ve ardından Isaac Capture aracılığıyla elde edilen hassas verilerle ince ayar yapılır. Bu şekilde, yalnızca laboratuvarda tek bir görevi yerine getirmeyi bilen bir robottan , ev veya endüstriyel ortamlara şaşırtıcı bir kolaylıkla uyum sağlayabilen genel amaçlı makinelere geçiyoruz .
Isaac Capture'ın mevcut mimarisi ve Isaac Lab ile olan birleşimi, herhangi bir fiziksel alanın LiDAR taramaları ve Gaussian Splatting yoluyla dijital bir ikize dönüştürülmesine olanak tanıyarak, insan verisi yakalama , büyük ölçekli simülasyon ve gerçek donanım üzerinde dağıtımın sürekli olarak geri beslendiği ve gerçek mekansal zekâ elde edilmesini sağlayan kapalı bir döngü oluşturur.
Sık sorulan sorular
Robotik bağlamında Isaac Capture tam olarak nedir?
Bu platform, uzaktan kumandayı ve insan verilerinin toplanmasını birleştirerek robotları eğitmeyi ve yeniden hedefleme yoluyla insanların hareketlerini robotik eylemlere dönüştürmeyi mümkün kılıyor.
Isaac Capture sanal gerçeklik gözlüğü olmadan kullanılabilir mi?
Evet, sistem bağımsız çalışma modunu destekliyor; bu sayede robotu kontrol etmek için klavye, oyun kumandası, SpaceMouse veya fiziksel yönlendirme kolları kullanılabilir.
Isaac Capture, simülasyon ve gerçek dünya arasındaki farkı azaltmaya nasıl yardımcı olur?
Bu yöntem, gerçek insan gösterilerine dayalı yüksek kaliteli veri kümeleri oluşturmaya ve alan rastgeleleştirmesini kullanarak robotu fiziksel ortamdaki değişikliklere karşı dayanıklı hale getirmeye olanak tanır.
El takibi için hangi cihazlar uyumludur?
Sistem, Apple Vision Pro, Meta Quest 3, PICO 4 Ultra ve MANUS markası gibi özel eldivenlerle uyumludur.
Yeniden hedefleme bu sistemde ne gibi bir rol oynuyor?
Yeniden hedefleme, insan operatörün anatomisini ve hareketlerini robotun yapısına ve fiziksel sınırlarına uyarlayan bir çevirmen görevi görür.
Isaac Capture aracılığıyla fiziksel temas hissetmek mümkün mü?
Evet, sistem simülasyonda algılanan temas kuvvetine göre kontrol ünitelerine veya eldivenlere titreşim gönderen dokunsal geri bildirim özelliğini destekliyor.
Elde edilen veriler robotun eğitimine nasıl entegre ediliyor?
Gösteriler HDF5 dosyalarına kaydedilir ve daha sonra Isaac Lab Mimic gibi taklit öğrenme çerçeveleri tarafından işlenir.




