MCP-Persona: 환경 시뮬레이션을 통해 실제 개인용 애플리케이션에서 LLM 에이전트 성능을 평가하는 벤치마크

연구진이 시뮬레이션 환경에서 개인화된 MCP 도구를 평가하는 첫 벤치마크 MCP-Persona를 공개했다.

이 벤치마크는 Reddit, Xiaohongshu, Lark, Slack 등 실제 앱을 포함해 더 현실적인 에이전트 행동을 검증한다.

저자들은 현재의 최신 LLM 에이전트들도 이런 개인화 과제에서 여전히 성능이 낮다고 밝혔다.

이번 연구는 일반적인 도구 벤치마크가 놓치는 격차를 드러내며, 에이전트 평가의 새 기준을 제시한다.