반지도 기반 파운데이션 모델 증류를 통한 학생 전문가 훈련

연구진은 비전 파운데이션 모델을 소형 학생 모델로 압축하는 반지도 지식 증류 기법을 제안했다.

이 프레임워크는 라벨 데이터와 비라벨 데이터를 함께 활용한 뒤, 학생 모델을 정제해 의사 라벨 오류와 편향을 줄인다.

Cityscapes와 ADE20K에서 더 작은 학생 모델이 원래의 더 큰 교사 모델보다 더 좋은 성능을 보였다.

이 방법은 적은 라벨로도 고품질 인스턴스 세그멘테이션을 더 저렴하고 실용적으로 구현할 수 있음을 보여준다.