PEFT 확장의 규모: 1조 파라미터 시대의 백만 개 개인화 모델을 향하여
On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters
TL;DR AI
1분핵심 요약
이 논문은 PEFT를 단순한 저비용 파인튜닝이 아니라 개인화 모델을 위한 인프라로 다시 정의한다.
확장 과제를 공유 사전지식의 확장, 어댑터 크기의 축소, 다수의 적응 인스턴스 확산이라는 세 축으로 정리한다.
PEFT는 대규모 파운데이션 모델 위에 구축된 여러 맞춤형 모델의 영속적 로컬 상태로 제시된다.
MinT는 이러한 대규모 개인화를 관리하는 레이어의 한 예로 소개된다.