소형 언어 모델을 위한 코드 유도 추론: 실행 가능한 MCQA 스캐폴드 평가

연구진은 소형 언어모델의 MCQA 성능을 평가하기 위해 Code-Guided Reasoning이라는 표준화된 평가 프레임워크와 생성 프로그램 집합을 제안했다.

6개 모델의 2만 건이 넘는 결과를 분석한 결과, 주된 평가 구간에서는 보조 추론이 직접 답변보다 더 높은 정확도를 보이는 경우가 많았다.

다만 효과는 일관되지 않았고, 일부 과제에서는 성능이 떨어졌으며 정답 추출이 불안정하고 생성된 코드가 지시를 어기는 사례도 있었다.

이번 연구는 외부 도구와 실행 가능한 프롬프트가 벤치마크와 실제 배포에서 성능을 크게 바꿀 수 있음을 보여준다.