다중 시점 모션과 텍스트 설명을 활용한 도메인 간 인간 행동 인식

연구진은 여러 시점의 모션 특징을 학습하고 추론 시 행동 텍스트 프롬프트와 매칭하는 방향 인지형 제로샷 행동 인식 방법을 제안했다.

이 방식은 실제 영상 인식에서 큰 문제인 시점 및 신체 방향 변화에 대한 강건성을 높여준다.

NTU-RGB+D, BABEL, NW-UCLA 등 여러 벤치마크와 감시 영상 환경에서 제로샷 성능을 향상시켰다.

또한 이미 본 행동에 대해서도 전이 성능이 더 좋아져, 많은 수작업 라벨링 없이 더 넓게 활용될 수 있음을 보여줬다.