Show HN: M 시리즈 Mac 어디서나 2GB RAM으로 Gemma 4 26B를 구동하는 오픈소스 엔진 | Hacker News
Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac | Hacker News
TL;DR AI
1분핵심 요약
Apple Silicon Mac용 오픈소스 Swift·Metal 추론 엔진 TurboFieldfare가 약 2GB RAM만으로 Gemma 4 26B-A4B-IT를 실행할 수 있게 했다.
공유 레이어와 KV 캐시는 메모리에 유지하고, 라우팅된 전문가 가중치는 SSD에서 필요할 때마다 불러와 8GB·16GB Mac에서도 쓸 만한 생성 속도를 낸다.
이 프로젝트는 스트리밍과 tool-call 지원을 포함한 실험적 로컬 OpenAI 호환 서버도 제공한다.
제한된 메모리의 소비자용 Mac에서 대형 모델을 로컬로 돌릴 수 있는 현실적인 방법을 보여준다.