GEM: 생성적 감독이 체화 지능을 향상시킨다

연구진은 로봇의 공간·물리 정보를 더 잘 학습하도록, 사전학습에 깊이 맵 생성 기능을 넣은 비전-언어 모델 GEM을 제안했다.

또한 grounding, reasoning, planning과 깊이 지도 감독 데이터를 포함한 GEM-4M 데이터셋을 공개했다.

GEM과 GEM-VLA는 임바디드 벤치마크에서 최고 수준의 성능을 보였고, 실제·시뮬레이션 로봇 작업에서도 강한 성능을 보였다.

이번 연구는 비전-언어 사전학습에 공간 감독을 더하는 것이 로보틱스의 핵심 격차를 줄일 수 있음을 보여준다.