IndexCache, 새로운 희소 어텐션 최적화 기법 — 장기 문맥 AI 모델에서 1.82배 빠른 추론 제공
IndexCache, a new sparse attention optimizer, delivers 1.82x faster inference on long-context AI models
TL;DR AI
2분핵심 요약
IndexCache는 sparse-attention 모델에서 최대 75%의 중복 연산을 제거합니다.
해당 컨텍스트 길이에서 시간-첫-토큰은 최대 1.82배 빨라지고 생성 처리량은 최대 1.48배 향상되었습니다.
이 기법은 DeepSeek Sparse Attention 아키텍처 기반의 DSA 모델에 적용되며, 최신 DeepSeek 및 GLM 계열을 포함합니다.
예비 테스트에는 744-billion-parameter GLM-5 모델이 포함되었습니다.
Self-attention은 시퀀스 길이에 대해 계산 비용이 제곱으로 증가하므로, IndexCache는 생산 규모의 장기 컨텍스트 모델에서 기업의 사용자 경험을 빠르게 해주는 데 도움이 될 수 있습니다.