비디오 객체 삽입과 레이어 분해를 위한 명시적 레이어 모델링
Explicit Layer Modeling for Video Object Insertion and Layer Decomposition
TL;DR AI
1분핵심 요약
연구진은 합성본, 배경, 전경이 정렬된 대규모 트리플릿 비디오 데이터셋 TriLayer를 소개했다.
또한 RGB 합성과 RGBA 전경을 함께 학습하는 듀얼 브랜치 확산 모델 DBL-Diffusion을 개발했다.
이 프레임워크는 객체 삽입용 DBL-Insert와 레이어 분해용 DBL-Decompose 두 작업을 지원한다.
비디오 레이어를 명시적으로 다루어 더 사실적인 합성, 재사용, 전경-배경 편집 워크플로우를 가능하게 한다.