ERUnderstand: 구조화된 ER 다이어그램에서 비전-언어 모델 평가

ERUnderstand는 ER 다이어그램용 2,960개 규모의 새 벤치마크로, 머신 판독 가능한 라벨을 제공해 비전-언어 모델의 성능을 체계적으로 평가합니다.

모델들은 일반적인 요소는 비교적 잘 처리했지만, 약한 엔터티, 다중값 속성, n-항 관계 같은 확장 ER 개념에서는 크게 취약했습니다.

추론을 보강한 모델은 성능이 개선됐지만, 복잡한 스키마 이해에는 여전히 한계가 드러났습니다.

이 벤치마크는 구조화된 데이터베이스 도식 이해의 격차를 드러내고, 향후 멀티모달 스키마 이해 개선을 위한 표준 평가 도구를 제공합니다.