SaaSBench: 장기 과제 기업용 SaaS 엔지니어링에서 코딩 에이전트의 한계 탐색

연구진이 실제 기업용 SaaS 엔지니어링 작업에서 AI 코딩 에이전트를 평가하는 벤치마크 SaaSBench를 공개했다.

SaaSBench는 6개 SaaS 도메인, 30개 과제, 5,370개 검증 노드와 이질적인 소프트웨어 스택으로 구성된다.

실험 결과, 에이전트의 실패는 핵심 로직 생성보다 시스템 설정과 통합 단계에서 더 많이 발생했다.

이번 결과는 코딩 에이전트의 현 수준과 실제 엔터프라이즈 소프트웨어 대응 능력 사이의 큰 격차를 보여준다.