멀티모달 LLM 평가자 감사: 임상 순서형 점수에서의 중심 경향 편향
Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring
TL;DR AI
1분핵심 요약
연구진은 최첨단 멀티모달 LLM의 시계 그리기 검사(Clock Drawing Test) 채점 성능을 지도학습 비전 모델과 비교 평가했다.
전체 성능은 나쁘지 않았지만, 모델들은 점수를 가운데로 몰아주는 중심 경향 편향을 보였다.
특히 임상적으로 가장 중요한 양극단 점수에서 오채점이 발생해 인지장애 선별 정확도를 떨어뜨릴 수 있다.
연구는 의료 현장에서 LLM을 채점자로 쓰기 전에 보정과 후처리가 필요하다고 지적한다.