근위 정책 최적화

OpenAI가 정책 업데이트를 제한하는 클리핑 목적함수를 사용하는 더 단순한 강화학습 알고리즘 PPO를 공개했다.

PPO는 적응형 KL 패널티가 필요 없고, TRPO와 ACER보다 구현과 튜닝이 쉽다.

OpenAI는 연속 제어에서 강한 성능과 Atari 과제에서 경쟁력 있는 결과를 보고했다.

PPO는 이후 OpenAI의 기본 강화학습 알고리즘이 되었고, 인터랙티브 로봇 제어 데모에도 활용된다.