CAST: LLM 에이전트를 위한 턴 단위 교사로서의 게임 솔버
CAST: Game Solvers as Turn-Level Teachers for LLM Agents
TL;DR AI
1분핵심 요약
CAST는 게임 솔버의 가치 변화로부터 턴 단위의 촘촘한 학습 신호를 만들어 LLM 에이전트를 훈련하는 새로운 방법이다.
희소한 최종 보상만 쓰는 대신 중간 신호를 제공해 장기 과제에서의 credit assignment를 개선한다.
논문은 Sokoban, Minesweeper, Rush Hour에서 학습된 기존 기준선보다 더 좋은 성능을 보였다고 보고했다.
또한 ALFWorld와 WebShop에서도 강한 제로샷 성능을 보여줬다.