같은 아키텍처, 다른 용량: 옵티마이저가 유도하는 스펙트럼 스케일링 법칙
Same Architecture, Different Capacity: Optimizer-Induced Spectral Scaling Laws
TL;DR AI
1분핵심 요약
연구진은 Transformer의 최적화 방법이 최종 loss뿐 아니라 내부 표현 용량의 스케일링 방식도 바꿀 수 있음을 확인했다.
AdamW와 Muon은 FFN 층에서 서로 다른 고유스펙트럼 패턴을 보였고, Muon은 더 강한 rank scaling을 나타냈다.
Muon은 AdamW보다 FFN 폭을 더 효율적으로 활용해, 검증 loss가 비슷해도 더 높은 용량 사용 효율을 보였다.
이번 결과는 최적화기 선택이 모델 구조와 스케일링 법칙에 영향을 주는 중요한 요소임을 시사한다.
같은 주제
