음성 변환의 '느린 말투' 버그 원인은 Whisper의 30초 제한이었다

긴 녹음이 느리게 재생되는 음성 변환 버그는 모델 문제가 아니라 Whisper의 30초 입력 제한 때문으로 밝혀졌다.

30초를 넘는 오디오는 특징 추출 단계에서 잘려 나갔고, 짧아진 의미 특징이 전체 길이로 늘어나며 부자연스러운 느린 출력이 발생했다.

해결책은 긴 오디오를 30초 단위의 겹치는 청크로 나눠 처리한 뒤 결과를 합치는 방식이었다.

Whisper를 특징 추출기로 쓰는 음성 변환, TTS, 립싱크, 자막 파이프라인은 같은 문제를 겪을 수 있다.