균일 확산 모델 재검토: Leave-One-Out 디노이저와 흡수 상태 재정식화

연구진은 언어 생성용 uniform diffusion을 재검토하며, 표준 학습 타깃이 일반적인 denoising posterior가 아니라 leave-one-out posterior임을 보였다.

또한 denoiser, leave-one-out posterior, score 사이의 정확한 변환식을 유도해, uniform diffusion의 성능 저하를 낳아온 ELBO 불일치를 설명했다.

온도 샘플링과 predictor-corrector 같은 샘플링 개선도 제안해, 추가 학습 없이 성능을 높일 수 있음을 보였다.

흡수 상태(absorbing state) 재정식화는 모델의 분포를 유지하면서 추론을 단순화해, masked diffusion과의 격차를 줄이거나 뒤집을 가능성을 제시한다.