SANA-Streaming: 하이브리드 디퓨전 트랜스포머를 활용한 실시간 스트리밍 비디오 편집
SANA-Streaming: Real-time Streaming Video Editing with Hybrid Diffusion Transformer
TL;DR AI
1분핵심 요약
연구진이 스트리밍 환경을 위한 실시간 비디오-투-비디오 편집 프레임워크 SANA-Streaming을 공개했다.
하이브리드 diffusion transformer, cycle-reverse regularization, GPU 최적화를 결합해 시간적 일관성과 처리량을 높였다.
이 시스템은 단일 RTX 5090에서 1280×704 해상도를 엔드투엔드 24 FPS로 처리하며, 핵심 모델은 58 FPS를 기록했다.
고해상도 인터랙티브 영상 편집이 단일 소비자 GPU에서도 실시간으로 가능함을 보여줘, 라이브 제작과 스트리밍 도구에 유용할 수 있다.