SMMBench: 소스 분산형 멀티모달 에이전트 메모리를 위한 벤치마크

연구진은 소스 분산형 멀티모달 에이전트 메모리를 평가하는 SMMBench를 공개했다.

이 데이터셋은 264개 출처에서 수집한 1,877개 샘플로 구성되며, 증거가 여러 소스에 흩어져 있다.

SMMBench는 교차 출처 멀티모달 추론, 충돌 해소, 선호 추론, 메모리 기반 행동 예측을 평가한다.

이번 연구는 기존 멀티모달 시스템이 실제처럼 분산된 증거보다 정제된 문맥에서 주로 평가되고, 이런 어려운 과제에서는 여전히 성능이 낮다는 점을 드러냈다.