저렴한 Intel Optane DIMM 메모리 스틱 768GB로 단일 GPU 시스템에서 1조 파라미터 LLM 구동 — 로컬 Kimi K2.5 설치로 초당 약 4토큰 달성
768GB of cheap Intel Optane DIMM memory sticks used to run 1-trillion-parameter LLM on a system with a single GPU — local Kimi K2.5 install achieved roughly 4 tokens per second
TL;DR AI
1분핵심 요약
한 Reddit 사용자가 Xeon 워크스테이션에서 llama.cpp로 1조 파라미터급 Kimi K2.5를 로컬 실행했다.
구성은 중고 Intel Optane 지속성 메모리 768GB, DDR4 192GB, 12GB RTX 3060 조합이었다.
이 시스템은 초당 약 4토큰을 기록해, 소비자용·중고 하드웨어로도 꽤 쓸 만한 추론이 가능함을 보여줬다.
이번 사례는 대형 모델용으로 DRAM과 SSD 사이를 메워줄 저비용 Optane의 가능성을 부각한다.