WavFlow: 파형 공간의 오디오 생성

WavFlow는 잠재공간 압축 대신 파형 공간에서 직접 작동하는 새로운 오디오 생성 프레임워크입니다.

패치화와 진폭 리프팅, 그리고 flow matching을 사용해 고음질 사운드를 합성합니다.

500만 개의 비디오-텍스트-오디오 트립릿으로 학습됐고, VGGSound와 AudioCaps에서 평가됐습니다.

비디오→오디오와 텍스트→오디오 과제에서 강력한 latent 기반 모델들과 비슷하거나 더 나은 성능을 보였습니다.

이번 결과는 latent 병목 없이도 경쟁력 있는 오디오 합성이 가능하며, 멀티모달 모델 설계를 단순화할 수 있음을 시사합니다.