Reasoning Denoiser: 대규모 추론 모델의 환각 탐지를 위한 추론 궤적 노이즈 제거
Reasoning Denoiser: Denoising Reasoning Traces for Hallucination Detection in Large Reasoning Models
TL;DR AI
1분핵심 요약
연구진이 추론 궤적을 정제하는 경량 프레임워크 ReDe를 공개해, 유용한 추론 단계와 잡음을 분리하도록 설계했다.
ReDe는 단계별 주석 없이 최종 답변에 대한 attention을 감독 신호로 활용해, 중복되거나 불필요한 reasoning을 걸러낸다.
TruthfulQA, MATH, CodeElo, MultiHopQA에서 Qwen3와 DeepSeek-R1로 테스트한 결과, 환각 탐지 성능이 향상됐다.
특히 TruthfulQA에서는 AUROC가 최대 18.69포인트 개선돼, 더 신뢰할 수 있는 모델 판단 가능성을 보여줬다.