TaoMate: 앵커 기반 메모리 브리징으로 진화하는 상태와 참조 상태를 연결하는 실시간 오디오-비디오 디지털 휴먼 생성

연구진은 고정된 시각 앵커와 압축된 기억 상태를 활용하는 TaoMate 프레임워크를 공개했다.

TaoMate는 과거의 음성-영상 블록을 재사용 가능한 메모리로 압축해 긴 구간의 인과적 생성을 지원한다.

잔차 어텐션과 참조 인지 모듈레이션을 통해 외형 유지와 오디오-비디오 동기화를 개선한다.

또한 단계별 병렬 추론을 가능하게 해 실시간 디지털 휴먼 생성의 효율을 높인다.