OCTOPUS: 팔면체 매개변수를 통한 Transformer용 최적화된 KV 캐시, 최적 제곱 오차 양자화

연구진은 transformer KV cache를 압축하는 데이터 비의존형 코덱 OCTOPUS를 제안했다.

이 방법은 좌표 삼중항을 회전하고, 정팔면체 파라미터화와 최적화된 양자화를 결합해 오차를 줄인다.

OCTOPUS는 기존 회전 기반 코덱보다 성능이 뛰어나며, 디코딩 시 추가 대역폭이나 지연 없이 키를 복원할 수 있다.

KV cache의 저장 공간과 메모리 대역폭은 장문 컨텍스트 추론의 핵심 병목이어서, 이번 연구의 실용적 의미가 크다.