ACE-Data-0: 인간 중심 앰비언트 캡처를 구현된 데이터 엔진으로

연구진이 실제 가정 환경에서 인간의 몸·손 동작, 물체 상태, 오디오, 촉각을 동기화해 기록하는 인간 중심 캡처 시스템 ACE를 제안했다.

이 시스템으로 ACE-Data-0을 구축했으며, 50명 참여, 150시간, 1,700만 프레임, 20개 작업 범주, 7만5천 개 상호작용 에피소드를 담았다.

데이터는 두 개의 환경에서 수집됐고, 1인칭·3인칭 영상과 행동, 조작, 상호작용을 함께 담아 기존의 분절된 데이터보다 훨씬 풍부하다.

새로운 계층형 벤치마크에서 현존 방법들은 접촉, 가림, egomotion, 장기 과제에서 성능이 크게 떨어지는 것으로 나타났다.