HRBench: 하이브리드 추론 LLM의 사고 모드 전환 전략을 벤치마킹하고 이해하기
HRBench: Benchmarking and Understanding Thinking-Mode Switch Strategies in Hybrid-Reasoning LLMs
TL;DR AI
1분핵심 요약
HRBench는 하이브리드 추론 LLM의 사고 모드 전환을 연구하기 위한 새로운 벤치마크입니다.
이 벤치마크는 프롬프트 기반 선택, 외부 라우팅, 추측 실행의 3가지 전략군을 평가합니다.
연구진은 12개 설정, 6개 모델, 5개 벤치마크에서 12개 이상의 기존 방법을 재현해 비교했습니다.
결과적으로 전략별 성능은 효율성-정확도 균형에 따라 달라지며, 학습 방식·모델 규모·작업 도메인의 영향을 받습니다.