비전 트랜스포머를 위한 Federated LoRA에서 층별 전역 랭크 탐지를 위한 스펙트럴 변환
Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers
TL;DR AI
2분핵심 요약
연구진은 Vision Transformer용 연합 LoRA 프레임워크 SpecTraL을 제안해, dense 재구성 없이 연합 미세조정 성능을 높였다.
이 방법은 클라이언트 LoRA 어댑터를 쌓은 뒤 잠재공간에서 Householder 기반 변환을 적용해 집계 오차와 서버 부담을 줄인다.
또한 랜덤 행렬 이론의 spiked covariance model을 이용해 층별 전역 rank를 자동으로 추정한다.
padding-aware initialization을 통해 클라이언트는 어댑터를 베이스 모델에 반복 병합하지 않고도 계속 학습할 수 있다.
DomainNet과 NICO++ 같은 federated ViT 벤치마크에서 ViT-B/16, ViT-L/16 모두 더 나은 정확도-통신 효율을 보였다.