ReToken: 시각 검색을 위한 비전-언어 모델 성능을 향상시키는 하나의 토큰
ReToken: One Token to Improve Vision-Language Models for Visual Retrieval
TL;DR AI
1분핵심 요약
연구진은 긴 시각적 문맥에서 관련 토큰만 골라내는 학습형 검색 토큰 ReToken을 제안했다.
작은 이미지-QA 데이터셋으로 학습했지만, 이미지·비디오 검색 벤치마크에서 성능을 높였다.
긴 영상 입력을 처리할 때의 잡음 감소와 메모리 절감을 동시에 해결해, 단일 H100 GPU로 학습과 추론이 가능했다.