수학과 코드를 넘어선 검증 가능한 보상: 사실적 질문 답변을 위한 경량 말뭉치 기반 과정 감독
Verifiable Rewards Beyond Math and Code: Lightweight Corpus-Grounded Process Supervision for Factual Question Answering
TL;DR AI
1분핵심 요약
연구진은 사실형 질의응답용 강화학습을 위한 가벼운 코퍼스 기반 보상 방식 CorVer를 제안했다.
CorVer는 위키피디아 공기출현 통계를 활용해 적은 계산으로 문장 단위 피드백과 토큰 단위 advantage를 제공한다.
여러 모델과 벤치마크에서 CorVer는 모든 실험 설정에서 원시 baseline을 앞섰다.
또한 대부분의 비교 가능한 경우에서 neural verifier 방식보다 성능이 좋았고, 학습 속도도 훨씬 빨랐다.