프록시 메트릭으로 LLM의 다운스트림 성능 예측하기

연구진은 전문가 작성 해답의 토큰 수준 분포를 바탕으로 한 프록시 지표로 LLM의 다운스트림 성능을 예측하는 방법을 제안했다.

이 지표는 교차 엔트로피 손실과 컴퓨트 기반 기준선보다 모델 계열 간 순위화, 사전학습 데이터 선택, 학습 구간 외삽에서 더 좋은 성능을 보였다.

이를 통해 비싼 다운스트림 평가 전에 아키텍처, 데이터셋, 학습 전략을 더 저렴하고 안정적으로 고를 수 있다.