대규모 언어 모델의 에이전틱 추론에서 실제로 중요한 벤치마크 7선

이 글은 기존 언어모델 지표보다 실제 에이전트 성능을 더 잘 측정하는 7가지 벤치마크를 소개한다.

소프트웨어 버그 수정, 웹 브라우징, 다단계 문제 해결 같은 과제를 통해 현실적인 수행 능력을 평가한다.

SWE-bench Verified, GAIA, WebArena 같은 벤치마크는 AI 에이전트를 판단하는 기준으로 점점 더 많이 쓰이고 있다.

하지만 프롬프트, 도구, 재시도 제한, 평가 하네스 설정에 따라 점수가 크게 달라질 수 있다고 경고한다.

핵심은 이 벤치마크를 절대적인 자율성의 증거가 아니라 비교용 참고 지표로 봐야 한다는 점이다.