OCTOPUS: 옥타헤드럴 파라미터화를 통한 트랜스포머용 최적화된 KV 캐시, 최적 제곱오차 양자화 적용
OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under Optimal Squared Error Quantization
TL;DR AI
1분핵심 요약
연구진은 트랜스포머용 결정적 KV-cache 코덱 OCTOPUS를 제안해, 옥타헤드럴 triplet 양자화로 캐시 데이터를 압축했다.
회전된 key triplet을 공동 양자화하고, 제곱오차를 최적화한 비트 할당을 적용해 압축 효율을 높였다.
텍스트, 비디오, 오디오 전반에서 OCTOPUS는 TurboQuant, PolarQuant 같은 기존 회전 기반 방법보다 더 좋은 성능을 보였다.
이 방식은 디코드 시 추가 대역폭이나 지연 없이 KV-cache 메모리 사용량과 대역폭 부담을 줄여 장문 컨텍스트 추론에 유리하다.
같은 주제
