CADENCE: 커버리지 적응형 온-폴리시 증류를 통해 추론 격차를 해소하다
CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation
TL;DR AI
1분핵심 요약
연구진이 소형 언어모델로 추론 능력을 옮기기 위한 통합형 온-폴리시 증류 프레임워크 CADENCE를 제안했다.
CADENCE는 적응형 KL 스케줄링과 보조 기법들을 결합해 콜드스타트 실패, 잘못된 스케줄링, 희소한 보상 문제를 완화한다.
GSM8K와 MATH-500에서 0.5B 학생 모델이 기존 동일 연산량 기준 베이스라인보다 더 높은 수학 성능을 보였고, 학습은 Mac Studio 한 대로 진행됐다.
이번 연구는 대규모 인프라 없이도 더 안정적으로 대형 모델의 수학 추론을 소형 모델에 증류할 수 있는 방법을 제시한다.