Gigatoken 소개: 텍스트를 초당 24.53GB로 인코딩하는 Rust BPE 토크나이저, HuggingFace Tokenizers보다 최대 989배 빠르다
Meet Gigatoken: A Rust BPE Tokenizer that Encodes Text at 24.53 GB/s, up to 989x Faster than HuggingFace Tokenizers
TL;DR AI
2분핵심 요약
MIT 라이선스의 Rust 기반 BPE 토크나이저 Gigatoken이 Python 바인딩과 함께 공개됐고, 매우 높은 처리량으로 벤치마크됐다.
속도의 핵심은 SIMD 스타일 기법, SWAR, 듀얼 커서 실행, 캐싱, 네이티브 Rust API를 활용한 고도로 최적화된 프리토크나이징이다.
GPT-2/OpenWebText 계열 벤치마크에서 최대 24.53 GB/s를 기록하며 여러 CPU 환경에서 HuggingFace tokenizers와 OpenAI tiktoken보다 빠른 성능을 보였다.
이번 결과는 토크나이저 성능을 수십~수백 배까지 끌어올릴 수 있음을 보여주며, LLM 학습·추론의 주요 병목을 줄일 가능성을 시사한다.