컴퓨터 사용을 위한 인간 행동 공간 포괄: 데이터 합성과 벤치마크
Covering Human Action Space for Computer Use: Data Synthesis and Benchmark
TL;DR AI
1분핵심 요약
연구진은 컴퓨터 사용 에이전트를 위한 벤치마크 CUActSpot을 공개했으며, GUI·텍스트·표·캔버스·자연 이미지 상호작용을 포괄한다.
논문은 기존 에이전트가 드문 롱테일 상호작용, 특히 드래그·드로우 같은 복잡한 GUI 작업에서 약하다고 지적한다.
또한 장면, 지시문, 액션 트레이스를 생성하는 렌더러 기반 합성 파이프라인을 제안했다.
이 코퍼스로 학습한 Phi-Ground-Any-4B는 32B 미만의 오픈소스 모델들을 능가한 것으로 보고됐다.
저자들은 벤치마크, 합성 데이터, 코드, 모델을 공개해 실제 자동화의 신뢰성을 높이겠다고 밝혔다.