도구는 항상 유익할까? 이중 모드 멀티모달 LLM 추론을 위해 도구를 적응적으로 호출하는 법 배우기
Are Tools Always Beneficial? Learning to Invoke Tools Adaptively for Dual-Mode Multimodal LLM Reasoning
TL;DR AI
1분핵심 요약
연구진은 외부 도구를 사용할지, 아니면 텍스트만으로 추론할지를 스스로 학습하는 멀티모달 LLM AutoTool을 제안했다.
논문은 불필요한 도구 호출이 성능을 떨어뜨릴 수 있으며, 항상 도구를 쓰는 방식보다 적응형 도구 사용이 더 나을 수 있다고 보여준다.
AutoTool은 강화학습으로 상황에 따라 도구 보조 추론과 텍스트 전용 추론을 동적으로 선택한다.
V*와 POPE 같은 벤치마크에서 정확도와 효율성 모두에서 뚜렷한 향상을 보였다고 보고했다.
같은 주제
