테크·2026년 5월 28일Perplexity AI, Hugging Face tokenizers Crate보다 p50 지연 시간을 5배 낮춘 Unigram 토크나이저 오픈소스 공개MarkTechPost
