MotiMotion: 시각적 추론을 활용한 모션 제어 비디오 생성

연구진은 모션 제어 영상 생성을 위한 추론-후-생성 프레임워크 MotiMotion을 제안했다.

비전-언어 추론기로 모션 입력을 다듬고, 자연스러운 보조 동작을 추가하며, 신뢰도에 따라 제어 강도를 조절한다.

또한 상호작용 중심의 이미지-투-비디오 생성을 평가하는 벤치마크 MotiBench도 공개했다.

평가 결과 MotiMotion은 기존 방법보다 더 그럴듯한 상호작용을 생성했다.