비둘기처럼 능동적으로 탐색하기: 에이전트형 비전-언어 모델을 통한 공간 추론 강화

연구진은 비전-언어 모델을 위한 새로운 공간 추론 파이프라인을 제안했으며, 동적 인지 지도를 영속적 장면 기억으로 사용했다.

또한 Spatial Assertion Codes를 도입해 중간 추론 단계를 검증 가능하게 만들고, 추론의 안정성을 높였다.

이 시스템은 지도학습과 강화 미세조정을 거쳐 MindCube에서 80.5%의 전체 정확도로 SOTA를 달성했다.

특히 Rotation 하위셋에서 큰 향상을 보여, 실제 에이전트형 인지 시스템에도 도움이 될 가능성을 시사한다.