기하학이 중요하다: 의미적 대응 학습을 위한 3D 기초 사전지식
Geometry Matters: 3D Foundation Priors for Learning Semantic Correspondence
TL;DR AI
1분핵심 요약
연구진이 2D 파운데이션 피처에 재구성된 3D 기하 정보를 결합하는 후학습 기반 semantic correspondence 프레임워크를 제안했다.
이 방법은 DINO와 Stable Diffusion 피처, SAM3D 기하, PartField 디스크립터를 활용하고 geodesic distance로 약한 매칭을 걸러낸다.
정제된 대응쌍으로 경량 어댑터를 학습해, pose annotation이나 구면 근사 없이도 기존 후학습 방식보다 성능을 높였다.
좌우 대칭이나 반복 부위처럼 어려운 사례에서 더 안정적이며, 수작업 supervision도 줄여준다.