MVEI와 EmObserver: 감정 진술 판단을 통한 MLLM 지향 시각 감성 지능 강화

연구진은 멀티모달 모델의 감정 분석을 위한 검증 기반 과제인 Emotion Statement Judgement(ESJ)를 제안했다.

또한 시각적 감성 지능을 더 엄밀하게 평가하기 위해 INSETS 파이프라인과 MVEI 벤치마크를 구축했다.

EmObserver는 이 프레임워크로 학습된 감정 특화 MLLM 베이스라인으로, 이미지 감정 이해 성능 향상을 목표로 한다.

이번 연구는 멀티모달 AI가 시각적 감정과 맥락을 얼마나 잘 추론하는지 평가하는 데 존재하던 공백을 메운다.