암시적·명시적 기하를 활용한 3D 인식 VLM
3D-Aware VLMs with Implicit and Explicit Geometries
TL;DR AI
1분핵심 요약
연구진은 RGB 비디오 기반의 3D 인지 비전-언어 프레임워크 VLM-IE3D를 제안했다.
이 모델은 암시적·명시적 기하 토큰과 3D-aware 어댑터를 결합해 3D 정보와 2D 시각 단서를 함께 활용한다.
그 결과 3D 공간 추론이 향상되며, 3D grounding·dense captioning·비디오 탐지 등 여러 과제에서 성능이 좋아졌다.
추가 3D 센서나 특수 입력 없이 3D 이해를 강화했다는 점이 핵심이다.