확률적 KV 라우팅: 적응형 깊이 방향 캐시 공유를 가능하게 하다

연구진은 트랜스포머 층들이 깊이 방향으로 KV 캐시를 공유해도 견딜 수 있도록 하는 스토캐스틱 KV 라우팅 기법을 제안했다.

핵심은 학습 중 랜덤 크로스-레이어 어텐션으로, 각 층이 자기 KV 상태나 이전 층의 KV 상태를 선택적으로 보도록 만드는 것이다.

이 방식은 추론 시 깊이별 캐시 공유를 가능하게 해 메모리 사용을 줄이면서도 처리량과 정확도를 대체로 유지한다.

사전학습과 미세조정 모두에 적용할 수 있으며, 여러 모델 계열에서 특히 큰 모델과 데이터가 제한된 환경에서 성능 개선을 보였다.