언제 포기할지 아는 법: 무의미한 추론을 중단하도록 LLM을 진단하고 훈련하기
Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning
TL;DR AI
1분핵심 요약
연구진은 LLM이 풀 수 없는 문제에서도 그럴듯하지만 틀린 추론을 이어가는 ‘futile reasoning’ 실패 모드를 확인했다.
원인으로는 능력 한계를 넘는 과도한 시도(capability overreach)와 자기 능력 판단 오류(miscalibration)를 지목했다.
이를 줄이기 위해 실패한 출력 데이터를 거부 학습에 활용하는 강화학습 방식 CaRL을 제안했다.
CaRL은 모델이 불가능한 과제에서는 억지 추론 대신 적절히 거부하도록 보상해 신뢰성과 효율성을 높인다.