기하학이 중요하다: 의미론적 대응 학습을 위한 3D 기초 사전 지식

이 논문은 거친 구면 priors 대신 재구성된 객체 기하를 활용하는 3D-aware semantic correspondence 후학습 프레임워크를 제안한다.

SAM3D로 자세와 형상을 추정한 뒤 render-and-compare 최적화로 pose를 보정하고, PartField descriptor를 이미지에 투영한다.

재구성된 표면의 geodesic distance로 매칭을 거르며, 대칭 구조나 반복 파트에서 생기는 오류를 줄인다.

이후 주석 없이 필터링된 대응쌍만으로 DINO와 Stable Diffusion feature를 사용하는 경량 adapter를 학습한다.

제안법은 수동 pose supervision 의존도를 낮추면서 기존 방법보다 더 나은 semantic correspondence 성능을 보였다.