MemLens: 대형 비전-언어 모델의 멀티모달 장기 기억 평가
MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models
TL;DR AI
1분핵심 요약
연구진은 대형 비전-언어 모델의 장기 멀티모달 기억을 평가하기 위한 789문항 벤치마크 MEMLENS를 공개했다.
이 벤치마크는 멀티세션 대화에서 5가지 기억 능력과 4가지 컨텍스트 길이를 포괄한다.
27개 LVLM과 7개 메모리 증강 에이전트를 평가한 결과, 장문 컨텍스트 모델만으로도, 메모리 에이전트만으로도 성능이 충분하지 않았다.
이번 결과는 향후 시스템이 긴 컨텍스트 처리와 구조화된 멀티모달 검색을 함께 갖춰야 함을 보여준다.