Beacon: 에이전트형 시각 추론을 언제, 어떻게 수행할지 아는 방법

연구진은 시각 추론 작업에서 도구를 언제 써야 하는지 적응적으로 판단하는 멀티모달 LLM Beacon을 소개했다.

기존 모델들은 도구를 너무 자주 쓰거나, 쉬운 문제에서의 오류 때문에 어려운 문제에서의 이득이 상쇄되는 한계를 보였다.

Beacon은 강화학습을 통해 필요할 때만 도구를 호출하도록 유도하고, 어려운 문제에서의 도구 활용 성능을 높였다.

이 접근은 도구 사용의 효율성과 정확도를 함께 개선해, 더 신뢰할 수 있는 멀티모달 시스템 구축에 도움이 된다.