OVEarth-Bench: 오픈 보캐뷸러리 지구 관측을 위한 카테고리 범위와 질의 다양성 평가

연구진이 오픈 보캐뷸러리 지구관측을 위한 새로운 제로샷 벤치마크 OVEarth-Bench를 공개했다.

이 벤치마크는 계층적 카테고리와 다양한 자연어 질의를 더 넓게 포함해 평가 범위를 확장한다.

실험 결과 전반적 성능은 여전히 낮았고, 멀티모달 대형 언어모델 기반 방법이 가장 좋은 성과를 보였다.

지구관측 특화 모델들은 범용 상위 방법들보다 뒤처져, 현재 접근법의 한계를 드러냈다.