LightSeek Foundation, 에이전트 워크로드를 겨냥한 TensorRT-LLM급 성능의 오픈소스 LLM 추론 엔진 TokenSpeed 공개
LightSeek Foundation Releases TokenSpeed, an Open-Source LLM Inference Engine Targeting TensorRT-LLM-Level Performance for Agentic Workloads
TL;DR AI
2분핵심 요약
LightSeek Foundation은 에이전트형 코딩 작업을 위한 MIT 라이선스 오픈소스 LLM 추론 엔진 TokenSpeed를 미리 공개했다.
이 엔진은 컴파일러 지원 병렬화, 안전 중심 스케줄러, 모듈형 커널로 긴 문맥 처리 성능을 높이도록 설계됐다.
Claude Code, Codex, Cursor 같은 도구에서 흔한 다중 턴 요청의 처리 속도와 응답성을 개선하는 것이 목표다.
추론 효율이 좋아지면 소프트웨어 개발 인프라의 지연 시간은 줄고 처리 용량은 늘어날 수 있다.
TokenSpeed는 vLLM, TensorRT-LLM과 경쟁하는 환경에 들어서며 NVIDIA Blackwell GPU에서도 활용 가능성이 주목된다.