RayDer: 실제 세계 비디오에서 확장 가능한 자기지도식 신규 시점 합성
RayDer: Scalable Self-Supervised Novel View Synthesis from Real-World Video
TL;DR AI
1분핵심 요약
연구진은 비정형 비디오에서 자기지도 방식의 novel view synthesis를 수행하는 통합형 피드포워드 트랜스포머 RayDer를 공개했다.
이 모델은 카메라 추정, 재구성, 렌더링을 하나로 묶고, 학습 중 변하는 콘텐츠를 다루기 위해 최소한의 동적 상태를 사용한다.
모델 크기와 데이터 규모를 키워도 강한 멱법칙 스케일링을 보였고, 여러 벤치마크에서 경쟁력 있는 제로샷 성능을 나타냈다.
이번 연구는 완전 지도 학습에 의존하지 않고도 대규모 실제 비디오로 더 단순하고 확장 가능한 뷰 합성 모델을 학습할 수 있음을 시사한다.