InstructSAM: 어떤 지시로든 모든 인스턴스를 분할하기

연구진은 지시 기반 다중 인스턴스 분할을 위한 통합 프레임워크 InstructSAM을 제안했다.

이 모델은 학습 가능한 instance query와 하이브리드 attention을 사용해 텍스트 지시와 시각적 문맥을 SAM3의 detector query로 변환한다.

이를 통해 여러 객체의 마스크를 순차 처리 없이 한 번에 효율적으로 예측할 수 있다.

또한 학습과 평가를 위한 Inst2Seg 데이터셋도 함께 구축했다.

실험 결과는 기존 방법보다 더 높은 성능과 더 나은 효율성을 보여준다.