구체적 조작을 위한 데이터 피라미드

연구진은 조작용 embodied 데이터를 실로봇, UMI형, 1인칭/3인칭, 시뮬레이션, 일반 비전-언어 데이터의 다섯 범주로 나눈 체계적 분류를 제안했다.

이들은 각 데이터 소스를 규모, 로봇 정합성, 품질, 다양성, 재사용성, 물리적 사실성 측면에서 비교하며 로봇 학습의 트레이드오프를 정리했다.

논문은 최근 embodied foundation model들이 사전학습에서 이 데이터들을 어떻게 혼합해 범용성과 행동 현실성을 함께 확보하는지도 살폈다.

또한 촉각 데이터, 실패·복구 궤적, 확장 가능한 수집 파이프라인, 교차-몸체 행동 정렬, 그리고 정교한 작업을 위한 1인칭 데이터 활용 개선의 과제를 제시했다.