GenPrior: 제로샷 스켈레톤 기반 행동 인식을 위한 텍스트-투-모션 생성 사전 지식의 활용

연구진은 사전 학습된 텍스트-투-모션 모델의 지식을 활용하는 제로샷 골격 기반 행동 인식 프레임워크 GenPrior를 제안했다.

GenPrior는 분산 게이티드 특성 융합으로 구조적 모션 단서를 텍스트 임베딩에 주입하고, 생성형 프로토타입 정제로 미지의 행동 분포에 더 잘 맞춘다.

이 방법은 텍스트 프로토타입 기반 인식의 한계였던 의미-운동학 간 격차를 줄여, 보지 못한 행동의 인식을 강화한다.

NTU-60, NTU-120, PKU-MMD에서 제로샷과 일반화 제로샷 설정 모두 기존 기법을 앞서는 성능을 보였다.