Mobile-Aptus: MLLM 기반 모바일 에이전트를 위한 신뢰도 기반의 능동적이고 강인한 상호작용

연구진은 멀티모달 대형 언어 모델을 기반으로 한 자신감 기반 모바일 에이전트 프레임워크 Mobile-Aptus를 제안했다.

이 시스템은 에이전트가 행동과 신뢰도 점수를 함께 출력하도록 학습시키고, 의미 유사도 검색과 직접 선호 최적화로 신뢰도 편향을 보정한다.

목표는 과도한 실행과 불필요한 사람 도움 요청이라는 두 가지 대표적 실패를 줄이는 것이다.

Mobile-Aptus는 4개 모바일 에이전트 벤치마크와 실제 동적 테스트에서 기존 방법보다 더 좋은 성능을 보였다.

이 연구는 에이전트가 자율적으로 행동할지, 도움을 요청할지를 더 정확히 판단하게 해 실제 앱 사용의 신뢰성을 높인다.