판사를 코드로 정형화하기: 프로그램 증류를 통한 확장 가능한 평가
Codifying the Judge: Scalable Evaluation via Program Distillation
TL;DR AI
1분핵심 요약
PAJAMA는 비싼 LLM 심판을 대신해, 판단 로직을 실행 가능한 프로그램 위원회로 바꾸는 프로그램 증류 기반 평가 시스템이다.
여러 프로그램의 출력을 집계해 최종 판정을 내리고, 애매한 사례만 LLM에 넘기는 방식으로 정확도와 효율을 함께 높였다.
다양한 데이터셋과 모델군에서 13B LLM judge와 비슷한 성능을 보였고, 라우팅·처리량·보상모델 학습 효율도 개선했다.
이 접근은 더 저렴하고 빠르며 해석 가능한 자동 평가 대안으로, 대규모 모델 평가 비용을 줄이는 데 유용하다.