AI 에이전트를 위한 평가(evals) 이해하기

Anthropic가 AI 에이전트 평가 가이드를 공개해, 단발성 테스트와 다른 멀티턴·도구 사용 중심의 평가 방식을 설명했다.

가이드는 task, trial, grader, transcript, outcome, harness, suite 같은 핵심 용어를 정의하며 평가 설계를 체계화했다.

에이전트는 여러 단계와 도구를 거치며 오류가 쌓일 수 있어, 더 강한 eval이 실패를 조기에 잡고 모델 비교를 더 신뢰성 있게 만든다.

Claude Code, Agent SDK, MCP 서버, τ2-bench 같은 사례를 통해 실제 에이전트 평가 적용 맥락을 제시했다.