Parallax: 소프트맥스를 유지하고 학습된 공분산 보정 분기를 추가하는 매개변수화된 로컬 선형 어텐션
Parallax: A Parameterized Local Linear Attention That Keeps Softmax and Adds a Learned Covariance Correction Branch
TL;DR AI
1분핵심 요약
연구진이 소프트맥스를 유지하면서 학습된 국소 선형 공분산 보정을 더한 새로운 트랜스포머 어텐션 방식 Parallax를 공개했다.
기존 국소 선형 어텐션의 쿼리별 선형 해법 대신 매개변수화된 투영 행렬을 사용해, 구현은 더 쉽고 실행은 더 빠르게 만들었다.
이 방식은 국소 선형 어텐션의 bias-variance 장점을 유지하면서도 FlashAttention처럼 스트리밍 기반의 GPU 친화적 구조와 잘 맞는다.
결과적으로 어텐션 품질과 하드웨어 효율을 동시에 높일 수 있는 방법으로, NVIDIA Hopper 같은 최신 GPU에서의 LLM 사전학습에 특히 의미가 있다.