VISReg: JEPA 학습을 위한 분산-불변성-스케치 정규화
VISReg: Variance-Invariance-Sketching Regularization for JEPA Training
TL;DR AI
1분핵심 요약
연구진은 JEPA 학습을 위한 새로운 자기지도 정규화 기법 VISReg를 제안했으며, 공분산 제약을 Sliced-Wasserstein 스케치 목적함수로 대체하면서 분산 제어는 유지했다.
이 방법은 표현 붕괴를 줄이고 더 강한 그래디언트를 제공하며, 분포의 전체 구조를 더 잘 반영하도록 설계됐다.
실험에서는 스케일링 성능이 개선됐고, 저품질·롱테일·저랭크 데이터에서 더 높은 강건성을 보였다.
VISReg는 ImageNet-1K 사전학습 후 OOD 성능에서 최고 수준을 기록했으며, ImageNet-22K에서는 훨씬 적은 데이터로도 DINOv2와 맞먹는 결과를 냈다.