SOCO: 비전 파운데이션 모델에서 의미적 객체 대응 벤치마킹
SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models
TL;DR AI
1분핵심 요약
연구진은 비전 파운데이션 모델의 의미론적 객체 대응을 평가하는 벤치마크 SOCO를 공개했다.
SOCO는 100개 카테고리와 100만 개가 넘는 대응 쌍에 걸쳐 일관된 부위 주석과 키포인트 설명을 제공한다.
실험 결과, 비전 백본은 유용한 의미 구조를 배우지만 카테고리 간 대응을 전이하는 데는 여전히 어려움이 있었다.
비전-언어 모델은 시각 참조 매칭보다 텍스트 프롬프트를 통해 부위를 더 잘 위치시켰다.
SOCO의 대응 점수는 세그멘테이션, 추적, 포즈 추정, 3D 탐지 성능을 강하게 예측하며, ImageNet 분류보다 더 유용한 지표로 나타났다.