WorldMemArena: 행동-세계 상호작용을 통해 멀티모달 에이전트 메모리를 평가하다

연구진은 액션-월드 상호작용 루프에서 멀티모달 에이전트의 기억 능력을 평가하는 400개 과제의 벤치마크 WorldMemArena를 공개했다.

이 벤치마크는 메모리 포인트, 업데이트, 방해 요소, 증거 체인을 단계별로 주석화해 기억을 어떻게 쓰고 활용하는지 더 정밀하게 측정한다.

장문 컨텍스트 모델, 수작업 메모리 시스템, 하니스 기반 메모리 에이전트를 비교한 결과, 더 강한 메모리 기록이 반드시 성능 향상으로 이어지지는 않았다.

또한 현재 시스템은 시각적 증거를 활용하는 데 취약하고, 도메인이 바뀌면 안정적으로 동작하지 못하는 것으로 나타났다.