배치를 믿어라, 온폴리시든 오프폴리시든: RL 사후 학습을 위한 적응형 정책 최적화
Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training
TL;DR AI
1분핵심 요약
연구진은 정책 비율 통계를 활용해 신뢰영역 업데이트와 오프폴리시 데이터를 균형 있게 다루는 배치 적응형 RL 사후학습 목적함수를 제안했다.
고정 클리핑 대신 정규화된 유효 표본 크기를 사용해 업데이트 강도와 정규화 정도를 자동으로 조절한다.
이 방법은 하이퍼파라미터와 학습 설정에 대한 민감도를 줄여, 조건이 다른 시스템이나 스케일 환경에서도 안정성을 높일 수 있다.
실험에서는 여러 기준에서 경쟁력 있거나 더 나은 성능을 보였다.