핵심 지식 경로: 효율적인 지식 집약적 멀티모달 질의응답을 위한 희소 교차 모달 라우팅
Salient Knowledge Pathways: Sparse Cross-Modal Routing for Efficient Knowledge-Intensive Multimodal Question Answering
TL;DR AI
1분핵심 요약
연구진은 지식 집약형 멀티모달 질의응답을 위한 희소 추론 아키텍처 SKIP를 제안했다.
SKIP는 질문 기반 시각 토큰 프루닝, 희소 검색, 희소 교차 어텐션, 적응형 예산 제어를 결합한다.
다섯 개 벤치마크에서 강한 밀집형 베이스라인과 비슷하거나 더 나은 성능을 내면서 FLOPs와 지연 시간을 크게 줄였다.
또한 효율적인 멀티모달 추론에서 최적의 희소성을 설명하는 정보 병목 분석도 제시했다.