SpaceDG: 시각적 열화 환경에서 공간 지능 평가 벤치마크

연구진은 9가지 시각적 열화 유형을 포함하는 약 100만 개 QA와 1만 건 이상의 VQA로 구성된 열화 인지형 데이터셋·벤치마크 SpaceDG를 공개했다.

25개 멀티모달 모델을 시험한 결과, 흐림·저조도·압축 손상·악천후 등 열화 입력에서 공간 지능이 크게 떨어지는 것으로 나타났다.

SpaceDG로 파인튜닝하면 열화된 이미지에서의 성능이 크게 개선됐고, 일부 조건에서는 인간 수준을 넘어섰다.

또한 깨끗한 이미지 성능은 유지돼, 실사용 환경에 맞는 강건한 멀티모달 AI로 가는 실용적 해법을 제시했다.