AFUN: 기능성 이해를 위한 어포던스 파운데이션 모델을 향하여
AFUN: Towards an Affordance Foundation Model for Functionality Understanding
TL;DR AI
1분핵심 요약
연구진은 로봇 기능 이해를 위한 어포던스 파운데이션 모델 AFUN을 제안했다.
AFUN은 단일 RGB-D 관측과 언어 지시를 입력받아, 작업별 기능 마스크와 3D 사후 접촉 모션 곡선을 예측한다.
또한 로봇·인간·시뮬레이션·실세계 스캔 데이터를 하나의 어포던스 스키마로 통합하는 대규모 데이터 파이프라인을 구축했다.
AFUN은 어포던스 세그멘테이션, 접촉점 예측, 3D 모션 벤치마크에서 기존 방법들을 능가했다.
파인튜닝이나 작업별 휴리스틱 없이 실제 로봇 조작에 적용돼, 오픈월드 일반화 성능을 보여줬다.