[CLS]만으로는 충분하지 않다: 패치 수준 추론과 적응형 집계를 통한 다중 레이블 인식

연구진은 다중 라벨 이미지 인식을 위한 학습 없이 동작하는 패치 수준 프레임워크 PIAA를 제안했다.

PIAA는 단일 전역 [CLS] 토큰에 의존하지 않고 이미지 패치별로 추론한 뒤 점수를 적응적으로 집계한다.

이 방법은 패치 식별력을 높이고 비전-언어 간 격차를 줄이면서도 추가 연산은 거의 필요하지 않다.

NUS-WIDE에서 mAP를 6% 이상 끌어올리는 등 강한 성능 향상을 보였다.