NVIDIA, X-Token 공개: 투영 유도 교차 토크나이저 KD로 Llama-3.2-1B에서 GOLD보다 평균 3.82점 향상
NVIDIA Introduces X-Token: Projection-Guided Cross-Tokenizer KD That Outperforms GOLD by 3.82 Average Points on Llama-3.2-1B
TL;DR AI
1분핵심 요약
NVIDIA가 서로 다른 토크나이저를 쓰는 모델 간 지식 증류를 위한 드롭인 방식 X-Token을 공개했다.
이 방법은 동적 계획법 기반 span 정렬, projection matrix, 보완적 loss를 활용해 기존 방식보다 더 안정적으로 지식을 전달한다.
논문은 GOLD 같은 기존 기법이 토큰 불일치나 지나치게 엄격한 매칭에서 성능이 떨어진다고 지적한다.
X-Token은 Llama-3.2-1B에서 GOLD보다 평균 3.82점 높았으며, 더 작은 학생 모델의 cross-tokenizer KD를 개선한다.