Ego2Robot: 1인칭 인간 데이터로부터 확장 가능한 로봇 데이터 합성

Ego2Robot는 1인칭 인간 조작 영상을 로봇 학습용 데이터로 변환해 사전학습에 활용합니다.

이 파이프라인은 동작 재매핑, 로봇 팔 시각 합성, 품질 선별을 결합해 대규모 데이터 생성을 가능하게 합니다.

15개 로봇 형태에 걸쳐 18,561시간의 데이터를 생성하고, RoboTwin2.0에 교란 벤치마크를 확장합니다.

합성 데이터와 로봇 데이터를 함께 사전학습하면 분포 밖 환경과 실제 로봇 성능이 함께 개선됩니다.