PEEK: 효율적인 지식 증류를 통한 필수 프레임 선택
PEEK: Picking Essential frames via Efficient Knowledge Distillation
TL;DR AI
1분핵심 요약
연구진은 비디오 캡셔닝을 위한 경량 동적 프레임 샘플링 기법 PEEK를 제안했다.
PEEK는 더 강한 교사 모델의 프레임 중요도 순위를 시각 정보만으로 동작하는 시계열 모델에 증류한다.
이 방법은 ActivityNet Captions와 MSR-VTT에서 기존 적응형 샘플링 기법보다 우수했으며, 특히 1~2프레임만 사용할 때 강했다.
적은 프레임 예산에서도 캡션 품질을 높이면서, 경쟁 방식보다 캡셔닝 시간 오버헤드는 훨씬 적다.