효율적인 비디오 생성을 위한 토큰 반경 어텐션

연구진은 비디오 확산 트랜스포머를 위한 학습 없는 희소 어텐션 기법인 Token Radius Attention을 제안했다.

이 방법은 토큰별 어텐션 필요도를 엔트로피로 추정해, 밀집 3D self-attention 대신 쿼리 중심의 희소 반경으로 변환한다.

Wan2.1, Wan2.2, HunyuanVideo의 텍스트-투-비디오와 이미지-투-비디오 실험에서 어텐션 연결의 일부만 유지했다.

그 결과 생성 품질은 경쟁력을 유지하면서도 속도를 크게 높여, 비디오 생성의 연산 부담을 줄였다.