샘플링에서 사라진 단어들: Word Coverage Score(WCS)로 본 LLM의 어휘 도달성 평가

연구진은 LLM 디코딩에서 샘플링 필터가 적절한 단어를 얼마나 막는지 측정하는 Word Coverage Score(WCS)를 제안했다.

오픈웨이트 모델을 대상으로 한 평가에서 top-p, top-k, min-p 같은 일반적 설정이 문맥상 맞는 어휘를 걸러낼 수 있음을 보였다.

이번 연구는 디코딩 선택이 일관성과 어휘 다양성 사이의 균형에 영향을 주며, 생성 문장의 표현력을 낮출 수 있음을 시사한다.