오프폴리시 강화학습에서 과대추정을 완화하기 위한 비관적 비평가를 활용한 협력적 가중치

연구진은 오프폴리시 강화학습의 과대추정 편향을 줄이기 위한 새 프레임워크 Collaborative Weighting Actor-Critic(CWAC)을 제안했다.

CWAC은 분포형 크리틱, TD 오차와 불확실성의 협력적 재가중치, 확률적 비관적 가치 추정을 결합해 학습을 안정화한다.

이 방법은 SAC, TD3, DDPG 같은 기존 알고리즘에 큰 추가 비용 없이 적용할 수 있도록 설계됐다.

저자들은 시뮬레이션 제어 과제에서 더 강한 성능을 보고했으며, 더 신뢰할 수 있는 가치 학습 가능성을 보여줬다.