소형 AI로 초안을 생성해 대형 AI를 고속화하는 ‘멀티 토큰 예측’ 기술을 Google이 발표
Google announces "multi-token prediction," a technology that uses a small AI to generate drafts and speed up large AI
TL;DR AI
1분핵심 요약
구글이 Gemma 4용 Multi-token Prediction을 공개했다. 작은 드래프트 모델이 다음 여러 토큰을 미리 제안하는 방식이다.
메인 모델이 이를 병렬로 검증해 추론 지연을 줄이면서도 출력 품질은 유지한다.
구글은 NVIDIA RTX PRO 6000, Pixel TPU, NVIDIA A100 등 일부 하드웨어에서 최대 약 3배 속도를 확인했다고 밝혔다.
여러 Gemma 4 변형용 드래프트 모델도 Hugging Face에 공개됐다.
같은 주제
