OmegaUse-OfficeVal: 경제적 기반을 갖춘 장기 오피스 스위트 작업에서 LLM 에이전트 벤치마킹
OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding
TL;DR AI
1분핵심 요약
연구진은 장기 오피스 작업 흐름을 평가하기 위한 100개 과제의 벤치마크 OmegaUse-OfficeVal를 공개했다.
이 벤치마크는 개인정보를 보호한 실무자 요청과 인간 노동 시간·가격 대체 신호를 사용해 비용 평가를 정량화한다.
상세한 채점 기준을 바탕으로 코드 기반 검증기를 만들어 결과물을 더 일관되게 평가할 수 있게 했다.
최신 LLM은 인간보다 더 저렴하고 빨랐지만, 출력 품질은 여전히 인간 수준에 미치지 못했다.