비디오에서 구조화된 동역학을 자기지도 학습으로 학습

연구진은 고정된 비전 트랜스포머 특징에서 구조적 비디오 동역학을 학습하는 Structured Dynamics Model(SDM)을 제안했다.

SDM은 미래 특징 예측을 통해 주요 시간 변화와 잔여 동역학을 분리하고, 자가지도 비디오 데이터와 약한 합성 감독으로 학습한다.

ProbeMotion 평가에서 SDM은 단순한 특징 기반 방법들보다 더 좋은 성능을 보였다.

이 방법은 객체 이동과 카메라 이동을 더 잘 구분하는 모션 표현을 만들어, 강건한 비디오 이해에 도움이 된다.