Length Value Model: 토큰 수준 길이 모델링을 위한 확장 가능한 가치 사전학습
Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
TL;DR AI
1분핵심 요약
연구진은 남은 생성 길이를 토큰 단위로 추정하는 LenVM을 제안했다.
토큰당 고정 음의 보상을 사용해, 주석 없이도 촘촘한 길이 신호를 추론 시점에 만든다.
LenVM은 정확한 길이 맞춤을 개선하고, 예산 기반 트레이드오프를 지원하며, LLM과 VLM 전반에서 동작한다.
또한 개별 토큰이 생성 길이에 어떤 영향을 주는지도 설명할 수 있게 해준다.