Энгийн нэг камертай (monocular) видео бичлэгээс хүний 3D хөдөлгөөнийг сэргээхэд хөл шалнаас хөндийрөх, гулсах эсвэл газрын гадаргууг нэвтлэх зэрэг физикийн хуульд нийцэхгүй алдаа байнга гардаг. Энэ нь уг өгөгдлийг хүн дүрст робот сургахад шууд хэрэглэх боломжгүй болгодог байв. Тэгвэл судлаачдын баг FlowHMR (flowhmr.github.io) буюу видеоноос физик хуульд бүрэн нийцсэн 3D хөдөлгөөн ялгаж авах шинэ загвараа танилцууллаа.
Flow Matching ба физикт суурилсан GRPO сургалт
FlowHMR нь урсгал тааруулах (Flow matching) үүсгэгч загварыг физикийн симуляцид суурилсан GRPO бататгах сургалттай хослуулснаараа онцлог юм. Нэг камерын бичлэгээс гаргаж авсан анхдагч хөдөлгөөнийг физикийн хөдөлгүүр дотор PHC (Perpetual Humanoid Control) хянагчаар мөрдүүлж, хүндийн хүч, тулгуур болон үрэлтийн хуультай зөрчилдөж буй хэсгүүдийг автоматаар засварладаг.
Ингэснээр гар дээр суниах, хөл бөмбөг өшиглөх, акробатын эргэлт хийх зэрэг газартай нягт харилцан үйлчлэлцдэг хүнд хөдөлгөөнүүдийг тэнцвэрийн алдаагүйгээр сэргээж чаджээ.
Unitree G1 хүн дүрст робот дээрх хэрэглээ
Судалгааны баг FlowHMR загвараар видео бичлэг болон MiniMax H3 текстээс үүсгэсэн дүрснээс 3D хөдөлгөөн гарган авч, GMR системээр дамжуулан Unitree G1 хүн дүрст роботын биеийн бүтцэд тааруулан хөрвүүлсэн байна. Улмаар SONIC хянагчийг хэрэглэн физик симуляци дотор Unitree G1 роботоор суниалт, сунгалт болон динамик алхалтын дасгалуудыг унахгүйгээр гүйцэтгүүлж, видео санг роботын сургалтын өгөгдөл болгон хувиргах бүрэн дамжлагыг батлан харууллаа.




