고정된 12B가 검증된 작업에서 프런티어 모델을 능가: 정확도 100%, 토큰 0개, 비트 단위로 동일, 영구적
A Frozen 12B Beats Frontier Models on Verified Work: 100% Accuracy, 0 Tokens, Bit-Exact, Forever
TL;DR AI
1분핵심 요약
검증된 풀이를 기억하는 고정형 12B 언어모델이, 이후 같은 문제군에서는 생성 토큰 0개로 비트 단위까지 동일한 정답을 재사용할 수 있다고 보고됐다.
논문은 9개 문제군의 새 인스턴스 180개에서 4개 벤더의 모델이 모두 180/180을 기록했으며, 메모리를 비우는 대조 실험에서는 성능이 무너졌다고 밝혔다.
또한 검증 게이팅 추론, 빠른 메모리 선택, 46GB GPU에서의 큰 이동형 컨텍스트 윈도우, 공개 테스트벤치 Corbenic-Galahad를 함께 제시했다.
이 연구는 재학습 대신 검증된 기억을 재사용해 계산 비용을 줄일 수 있으며, 모델 능력과 메모리 능력을 분리해 평가하는 새 방식을 제안한다.
