Parallax: 언어 모델링을 위한 매개변수화된 로컬 선형 어텐션
Parallax: Parameterized Local Linear Attention for Language Modeling
TL;DR AI
1분핵심 요약
연구진은 수치 해법을 제거하고 학습형 projector를 추가한, LLM용 확장 가능한 로컬 선형 어텐션 방식 Parallax를 제안했다.
이 설계는 하드웨어 인지형 커널 최적화와 결합돼, 디코드 커널 성능이 FlashAttention 2/3와 비슷하거나 더 뛰어났다.
0.6B와 1.7B 규모의 모델에서 Parallax는 동일 조건의 기준선보다 일관된 perplexity 및 다운스트림 성능 향상을 보였다.
이번 연구는 기존 효율적 어텐션보다 학습 효율, 수치 안정성, 모델 품질의 균형을 더 잘 맞출 수 있음을 시사한다.