영역 인식 양모달 직접 선호 최적화를 통한 구성적 텍스트-이미지 생성

연구진은 텍스트-이미지 모델을 위한 선호도 기반 미세조정 프레임워크 BiDPO를 제안했다.

BiDPO는 품질을 통제한 선호도 데이터셋 BiComp를 구축하고, Diffusion DPO를 확장해 이미지와 텍스트 선호를 함께 최적화한다.

또한 지역(region) 수준의 가이던스를 더해 객체 관계, 속성, 개수 같은 복합적 개념을 더 잘 반영한다.

실험 결과, 여러 벤치마크에서 기존 방법보다 더 높은 조합적 충실도를 보였다.