테크·6일 전Gigatoken 만나보기: 텍스트를 최대 24.53 GB/s로 인코딩하는 Rust BPE 토크나이저, HuggingFace Tokenizers보다 최대 989배 빠름MarkTechPost
