NVIDIA AI, 게이트형 DeltaNet-2 공개: 델타 규칙에서 지우기와 쓰기를 분리한 선형 어텐션 레이어
NVIDIA AI Releases Gated DeltaNet-2: A Linear Attention Layer That Decouples Erase and Write in the Delta Rule
TL;DR AI
1분핵심 요약
NVIDIA가 100B FineWeb-Edu 토큰으로 학습한 13억 파라미터 규모의 선형 어텐션 모델 Gated DeltaNet-2를 공개했다.
새 델타 규칙은 key와 value 채널에 대해 별도의 채널별 게이트를 둬, 메모리 지우기와 쓰기를 분리한다.
이 설계는 KDA의 채널별 감쇠를 유지하면서도, 더 큰 KV 캐시 없이 상태 편집 능력을 높이도록 했다.
NVIDIA는 Gated DeltaNet-2가 기준 벤치마크에서 Mamba-2, Gated DeltaNet, KDA, Mamba-3보다 우수하다고 밝혔다.