인터페이스에서 추론으로: 어떤 순서의 모델에서도 어떤 순서의 추론 이끌어내기
From Interface to Inference: Eliciting Any-Order Inference from Any-Order Models
TL;DR AI
1분핵심 요약
연구진은 any-order 학습만으로는 위치 불확실성 때문에 any-order 추론이 자동으로 보장되지 않는다고 지적했다.
이를 해결하기 위해 insertion-based masked diffusion과 latent-space masked diffusion을 제안했다.
두 방법은 언어모델이 선형 순서에 묶이지 않고 유연하게 추론·생성하도록 돕는 것을 목표로 한다.
결과적으로 코드 생성과 수학 문제 해결, 예를 들어 GSM8K와 Python 코딩에서 성능 향상이 기대된다.