MPEcho: 멜로디와 음소를 인지하는 제어 가능한 커버송 생성용 생성 프레임워크
MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation
TL;DR AI
1분핵심 요약
연구진은 SongEcho를 확장한 MPEcho를 제안해, 음소 단위 조건과 타이밍 제어를 커버송 생성에 추가했습니다.
MPEcho는 음소 인코더와 길이 조절기를 포함해 합성된 노래에서 가사, 발음, 멜로디 보존을 더 잘하도록 설계됐습니다.
또한 Whisper 기반 전사 모델인 Phonsa를 개발해 음소 수준의 노래 주석을 생성할 수 있게 했습니다.
이들 기술은 제어 가능한 커버송 생성을 개선하고, 가사 및 발음 오류를 줄이는 데 도움을 줍니다.