하드웨어 인식 동적 추측 디코딩(DSD) | Cohere

Cohere가 GPU와 배치 크기 조건에 맞춰 초안 토큰 수를 조절하는 동적 speculative decoding을 소개했다.

메모리 대역폭이 병목일 때는 더 많은 토큰을 미리 생성하고, 연산이 병목일 때는 줄여서 추론 효율을 높인다.

고정형 speculative decoding이 상황에 따라 성능을 올리기도, 오히려 떨어뜨리기도 하는 문제를 완화하는 것이 목표다.

이 접근법은 프로덕션 LLM 서빙과 강화학습 롤아웃의 처리량을 개선할 수 있다.