MCP-Persona: 환경 시뮬레이션을 통한 실제 개인용 애플리케이션에서의 LLM 에이전트 벤치마킹

연구진은 개인화된 도구와 실제 개인용 앱에서 LLM 에이전트를 평가하기 위한 벤치마크 MCP-Persona를 공개했다.

이 벤치마크는 Reddit, Xiaohongshu, Lark, Slack 같은 플랫폼에서 개별 계정과 로컬 데이터베이스를 갖춘 시뮬레이션 환경을 사용한다.

실험 결과, 최상위 에이전트들도 계정별 데이터가 필요한 작업에서는 성능이 크게 떨어졌다.

이번 벤치마크는 현재 LLM 도구 사용의 한계를 드러내며, 향후 평가 방식과 에이전트 설계를 개선하는 데 도움이 될 전망이다.