OmniDelta: OmniLLM의 토큰 압축을 위한 기술 기반 예산 할당

연구진은 omni-modal LLM의 압축 예산을 배분하는 학습 불필요 프레임워크 OmniDelta를 제안했다.

이 방법은 의도 인식 기반의 모달 간 배분과 콘텐츠 인식 기반의 모달 내 배분을 결합해 오디오·비디오에서 남길 토큰 수를 결정한다.

Qwen2.5-Omni를 활용한 4개 벤치마크에서 정확도-효율성 균형을 개선했다.

토큰을 25%만 유지했을 때 GPU 메모리를 22.0% 줄이고 추론 속도를 1.64배 높였다.