RDVSv2: RGB-D 비디오 두드러진 객체 탐지를 위한 대규모 벤치마크

연구진은 공개된 스테레오 온라인 ভিডিও를 바탕으로 한 새로운 RGB-D 비디오 salient object detection 벤치마크 RDVSv2를 공개했다.

이 데이터셋은 249개 시퀀스와 29,077장의 주석 프레임으로 구성되며, 깊이 맵과 시선 추적 기반 salient object 마스크를 포함한다.

또한 SAM2를 파라미터 효율적 파인튜닝 방식으로 확장해 RGB, depth, optical flow를 함께 활용하도록 했다.

이 베이스라인은 RDVSv2와 다른 RGB-D VSOD 벤치마크에서 state-of-the-art 성능을 기록했다.

RDVSv2는 멀티모달 비디오 이해 모델의 평가와 개발을 위한 더 크고 고품질의 테스트베드를 제공한다.