세밀한 강건성을 향해: 비전-언어 모델을 위한 어텐션 가이드 테스트 시점 프롬프트 튜닝
Towards Fine-Grained Robustness: Attention-Guided Test-Time Prompt Tuning for Vision-Language Models
TL;DR AI
1분핵심 요약
연구진은 CLIP 같은 비전-언어 모델을 위한 주의도 기반 테스트타임 프롬프트 튜닝 기법 A-TPT를 제안했다.
A-TPT는 gradient attention rollout을 정교화해 의미적으로 중요한 영역을 찾고, 이를 바탕으로 공간 증강과 멀티뷰 추론을 수행한다.
이 방법은 적대적 데이터와 정상 데이터 모두에서 강인성을 높이며, 기존 테스트타임 적응 기법보다 우수한 성능을 보였다.
특히 의미 정보 보존이 중요한 세밀한 분류(fine-grained recognition)에서 효과적이다.
같은 주제
