자신감이 오도할 때: 확산 언어 모델을 위한 접미사 앵커링과 앵커-근접 자신감 조절

연구진은 완전 비자기회귀 diffusion language model 디코딩에서 높은 신뢰도의 EOT 토큰과 suffix anchor 주변의 과신이 조기 종료나 불완전한 출력을 유발할 수 있음을 발견했다.

이들은 짧은 suffix anchor를 추가하고 그 주변의 confidence를 조정하는 학습 없는 디코딩 기법, Suffix-Anchored Confidence Modulation을 제안했다.

이 방법은 텍스트 추론, 비전-언어 추론, 코드 생성 벤치마크 전반에서 성능을 개선했다.

diffusion 모델의 병렬 디코딩 장점은 유지하면서, 이른 토큰 선택과 출력 중단을 줄였다.