ESI-Bench: 지각-행동 루프를 닫는 embodied spatial intelligence를 향하여

연구진은 OmniGibson에서 구축한 embodied spatial intelligence 벤치마크 ESI-Bench를 제안해, 탐색을 통해 능동적으로 증거를 수집하는 능력을 평가했다.

이 벤치마크는 10개 대분류와 29개 세부 항목으로 구성되며, 지각·이동·조작을 통해 숨겨진 공간 정보를 찾아내는 과정을 측정한다.

실험 결과, 능동적 탐색은 단순한 수동 관찰보다 우수했고, 무작위로 추가한 시점은 오히려 성능을 떨어뜨릴 수 있었다.

또한 현재 MLLM들은 행동 선택이 부정확하고 잘못된 믿음에 과도하게 확신하며, 정확할 때에만 명시적 3D grounding의 이점을 보였다.