확산 모델에서 텍스트-이미지 정렬을 위한 정렬 유도 점수 매칭
Alignment-Guided Score Matching for Text-to-Image Alignment in Diffusion Models
TL;DR AI
1분핵심 요약
연구진은 외부 보상 없이 확산 모델의 텍스트-이미지 정렬을 높이는 경량 후학습 기법, Alignment-Guided Score Matching을 제안했다.
이 방법은 score-matching 목적함수에 정렬 가이던스를 넣고 soft text token을 정교화해, Stable Diffusion 1.5, SDXL, SD3 같은 주요 백본과 호환된다.
전체 성능은 SoftREPA와 비슷하면서도 반복 생성과 카운팅 오류 같은 취약 사례를 개선했고, GenEval 카운팅 정확도는 35%+ 향상을 보였다.