다시 살펴보는 골칫거리: 언어 모델을 위한 의미 추론 벤치마크

연구진이 다중어 표현 자원을 하나로 묶은 벤치마크 SemanticQA를 공개했다.

SemanticQA는 관용구, 명사 복합어, 동사구성, 연어 등을 대상으로 언어 모델의 의미 이해와 추론을 평가한다.

평가 과제는 추출, 분류, 해석, 그리고 여러 과제를 결합한 구성형 문제를 포함한다.

이 벤치마크는 단순한 테스트로는 드러나지 않던 언어 모델의 약점을 더 잘 보여준다.