Chartographer: 비전-언어 모델 평가를 위한 반사실적 차트 생성

연구진은 차트를 실행 가능한 코드로 복원한 뒤 반사실적 변형을 만드는 Chartographer 프레임워크를 제안했다.

같은 질문을 유지한 채 차트의 기반 데이터를 바꿔, chart QA 비전-언어 모델의 민감도와 일반화 능력을 평가한다.

이 방식은 모델이 진정한 시각적 추론보다 지름길이나 표면적 패턴에 의존할 때 드러나는 약점을 보여준다.