OcclusionFormer: 레이아웃 기반 이미지 생성을 위한 Z-순서 배치

연구진은 레이아웃-이미지 생성에서 객체의 깊이 순서와 가림(occlusion)을 명시적으로 모델링하는 확산 트랜스포머 OcclusionFormer를 제안했다.

또한 겹치는 인스턴스의 픽셀 수준 주석과 Z-order 정보를 담은 SA-Z 데이터셋을 공개했다.

OcclusionFormer는 객체를 분리해 처리한 뒤 volume rendering과 alignment loss로 합성해, 층위가 있는 장면 생성을 개선한다.

이 방법은 겹치는 객체를 물리적으로 더 자연스럽게 다루지 못하는 컨트롤러블 이미지 생성의 핵심 실패 모드를 해결한다.