강화학습에서 최적 계수 보정을 통한 다중 토큰 예측의 공동 학습

연구진은 multi-token prediction과 reinforcement learning을 함께 학습할 때 균형 조절이 없으면 성능이 떨어질 수 있음을 분석했다.

이에 따라 학습 중 비율을 자동으로 조정하는 온라인 adaptive coefficient calibration 방법을 제안했다.

이 방법은 6개의 수학 추론 벤치마크에서 detach baseline과 비슷하거나 더 나은 성능을 보였다.

이 연구는 검증 가능한 보상 기반 강화학습과 multi-token prediction을 대형 언어모델에 안정적으로 결합하는 실용적 해법을 제시한다.