OpenAI Baselines: ACKTR 및 A2C

OpenAI Baselines는 ACKTR이 Q-Bert에서 A2C보다 더 나은 성능을 낼 수 있는 강화학습 방법이라고 소개했다.

ACKTR은 KL 제어를 적용한 natural-gradient 업데이트를 사용해 일반적인 1차 방법보다 샘플 효율을 높이는 것을 목표로 한다.

이 방법은 KFAC를 기반으로 하며, 계산량은 크게 늘리지 않으면서 더 높은 학습 효율을 제공한다.