제약하기 전에 생각하기: 대규모 언어 모델을 위한 통합 디코딩 프레임워크

연구진은 대규모 언어 모델용 하이브리드 디코딩 프레임워크인 In-Writing을 제안했다.

모델이 먼저 자유롭게 추론하도록 한 뒤, 트리거 토큰이 나온 후에만 구조화된 형식을 적용한다.

이 방식은 조기 트리거를 줄이고 구조화된 작업의 정확도를 높인다.

저자들은 여러 벤치마크에서 자연 생성 대비 최대 27%의 성능 향상을 보고했다.