최소한의 RLVR 훈련만으로 충분하다: Rank-1 궤적을 통한 LLM 외삽

연구진은 LLM의 RLVR 가중치 업데이트가 매우 저차원적이고 예측 가능한 궤적을 따른다고 밝혔다.

이들은 초기 학습 단계의 정보를 바탕으로 rank-1 방향을 추정해 이후 체크포인트를 외삽하는 RELEX를 제안했다.

여러 모델과 벤치마크에서 RELEX는 전체 RLVR 학습과 비슷하거나 더 나은 성능을 보였다.

검증된다면, 이 방법은 LLM 추론 능력 개선에 드는 비용과 시간을 크게 줄일 수 있다.