파생 측정값이 오해를 불러일으킬 때: 특권 모달리티 신뢰성 증거를 통해 LLM의 과도한 신뢰를 정량화하고 완화하기
When Derived Measurements Mislead: Quantifying and Mitigating LLM Over-Trust with Privileged-Modality Reliability Evidence
TL;DR AI
1분핵심 요약
연구진은 LLM이 파생 측정값을 직접 사실처럼 과신하는 실패 모드인 ‘derived-feature over-trust’를 정의했다.
PPG와 ECG 짝지은 생체 신호 데이터로 충돌, 문맥 오류, 수정, 증거 유용성, 불필요한 검증을 측정하는 평가 지표를 제시했다.
ECG를 활용한 지식 증류 기반은 보류된 테스트셋에서 일부 수정 정확도와 특이성을 소폭 개선했다.
이번 연구는 신뢰가 불완전한 모델·센서 생성 신호를 다루는 AI 시스템의 신뢰 보정 문제를 평가하고 개선하는 틀을 제공한다.