MATCHA: 대조적 의미 정렬을 통한 텍스트 매칭

연구진이 텍스트 유사도와 정답성을 평가하는 새로운 자동 지표 MATCHA를 공개했다.

MATCHA는 생성 문장을 정답 문장과 맞추는 동시에, 반대 의미의 문장을 통해 모순을 벌점하는 이중 관점 대비 학습 방식을 사용한다.

8개 벤치마크에서 MATCHA는 ROUGE와 BERTScore 같은 기존의 중복 기반·임베딩 기반 지표보다 더 좋은 성능을 보였다.

특히 TruthfulQA에서 큰 향상을 기록했으며, 인간 평가자들도 유효한 지표로 판단했다.

이 지표는 모순된 문장도 비슷하다고 잘못 평가할 수 있는 LLM 평가의 핵심 문제를 해결하는 데 도움을 준다.