희소 오토인코더로 CLIP 모델의 강건하고 해석 가능한 파인튜닝 구현
Sparse Autoencoders enable Robust and Interpretable Fine-tuning of CLIP models
TL;DR AI
1분핵심 요약
연구진은 CLIP을 미세조정하는 새로운 방법 SAE-FT를 제안했다.
이 방식은 비싼 텍스트 유도 없이 시각 특징을 규제해 치명적 망각을 줄인다.
SAE-FT는 해석 가능성과 강건성을 높이면서 ImageNet과 분포 변화 벤치마크에서 경쟁력 있는 성능을 보였다.