탐색적 모델링: K번의 추측 중 최고 결과로 학습하기 | Hacker News

Hacker News에서는 새로운 논문이 다중모드 확산·플로우 모델에 winner-take-all 학습을 적용한 점을 소개했다.

이 방식은 K개의 후보 예측 중 가장 좋은 것만 학습해 multimodal 출력에서 모드 붕괴를 줄이려는 시도다.

다만 추가 forward pass로 학습 비용이 늘고, 샘플링에서는 모든 모드를 동일하게 취급해 품질 문제가 있을 수 있다는 지적이 나왔다.

댓글은 구현을 바꾸면 일부 단점을 줄일 수 있지만, 고도로 조건화된 이미지 생성이나 LLM에는 효용이 제한적일 수 있다고 봤다.