GEM: 생성형 감독이 구현 지능을 돕는다

연구진은 사전학습에 깊이 맵 생성 과제를 더한 생성형-지도학습 기반 체화 비전-언어 모델 GEM을 제안했다.

또한 grounding, 추론, 계획, 깊이 지도 학습을 포함한 GEM-4M 데이터셋도 공개했다.

GEM은 여러 체화 벤치마크에서 최고 수준의 성능을 기록했다.

GEM 기반 비전-언어-행동 모델 GEM-VLA는 시뮬레이션과 실제 환경 모두에서 더 나은 작업 수행을 보였으며, 깊이 지도 학습이 공간 이해와 로봇 제어를 개선할 수 있음을 시사한다.