다중 에이전트 RL은 언제 LLM 워크플로를 개선하는가? 워크플로, 규모, 정책 공유의 트레이드오프
When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs
TL;DR AI
1분핵심 요약
연구진은 다양한 역할 구성, 과제, 모델 크기에서 멀티에이전트 LLM 워크플로우에 대한 end-to-end RL을 평가했다.
대체로 RL은 기본 모델보다 성능을 높였지만, 워크플로우 설계·과제 유형·스케일에 따라 향상 폭은 크게 달랐다.
분리 정책(isolated-policy) 학습은 더 높은 최고 성능을 낼 수 있지만, 급격한 붕괴가 더 자주 나타났다.
공유 정책(shared-policy) 학습은 실패 양상을 바꾸는 데 그쳤고, 이는 역할별 그래디언트 동역학과 워크플로우 구조의 영향으로 해석된다.