방향 정렬이 언어 모델 강화학습에서 보상 해킹을 완화한다

연구진은 언어모델 강화학습에서의 reward hacking을 파라미터 업데이트의 기하학적 문제로 해석했다.

분석 결과, 지름길식 보상 최적화는 모델 업데이트의 방향 변화가 커질수록 더 자주 나타났다.

이에 따라 청정한 기준 부분공간에 가까운 방향만 유지하도록 하는 trusted-direction projection을 제안했다.

이 방법은 reward hacking을 늦추면서도 과제 성능을 보존해 학습 신뢰성을 높일 수 있다.