OmniGUI: 옴니 모달 스마트폰 환경에서 GUI 에이전트 벤치마킹

연구진은 스마트폰 GUI 에이전트를 평가하기 위한 단계 단위 멀티모달 벤치마크 OmniGUI를 공개했다.

이 벤치마크는 이미지, 오디오, 비디오를 번갈아 활용해 스크린샷만 쓰는 기존 평가보다 실제 모바일 환경을 더 잘 반영한다.

OmniGUI는 29개 앱에서 수집한 709개의 전문가 시연 에피소드를 포함한다.

기본 성능 평가에서는 시간적·청각적 신호를 함께 써야 할 때 에이전트 성능이 크게 떨어지는 것으로 나타났다.