DistillAlign: 자기회귀 비디오 증류에서 모드 커버링과 모드 시킹의 조율

연구진은 자가회귀 비디오 증류를 분포 관점에서 다시 살펴보며, 기존 DMD 학습이 높은 정밀도는 내지만 커버리지는 낮은 학생 모델을 만들 수 있음을 보였다.

또한 학습 후반부로 갈수록 다양성이 더 줄어들어, 학생 모델이 교사 분포를 충분히 반영하지 못하고 모드 탐색적으로 치우칠 수 있음을 확인했다.

이를 해결하기 위해 DistillAlign을 제안했으며, 공유 잠재공간 평가 프로토콜과 DMD에 Consistency Distillation을 결합한 공동 증류 목표를 도입했다.

이 방법은 VBench와 Wan-1.3B, Wan-14B 같은 모델에서 비디오 생성 품질, 커버리지, 다양성, 그리고 정제 안정성을 개선했다.