OSCAR: 2비트 KV 캐시 양자화를 위한 오프라인 스펙트럴 공분산 인식 회전
OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
TL;DR AI
1분핵심 요약
OSCAR는 장문맥 LLM 서빙을 위한 오프라인, attention-aware 2비트 KV 캐시 양자화 기법을 제안했다.
attention에 중요한 데이터로 공분산을 추정해 고정 회전과 클리핑 임계값을 정하고, 이를 배포 가능한 INT2 어텐션 커널과 결합했다.
추론 및 장문맥 벤치마크에서 큰 모델은 BF16에 가까운 정확도를 보였고, KV 캐시 메모리는 약 8배 줄었다.
또한 최대 7배의 처리량 향상을 보였으며 SGLang, vLLM 같은 서빙 스택과도 호환된다.