인텔의 NPU에서 LLM을 실행해 봤다. 실제로 무슨 일이 일어났는지
I Tried Running LLMs on Intel's NPU. Here's What Actually Happened.
TL;DR AI
1분핵심 요약
Lenovo ThinkPad T14 Gen 5에서 local LLM 추론을 테스트했다.
Intel Core Ultra 7 155U와 32GB DDR5, Windows 11을 사용했다.
Intel AI Boost NPU 3720에서 NPU, CPU, llama.cpp 성능을 비교했다.
Qwen2.5-7B-Instruct를 OpenVINO IR와 int4 가중치로 내보냈다.
NPU 컴파일러는 정적 텐서 크기를 요구하며 LLVM ERROR를 냈고, 1.5B도 같은 충돌을 겪었다.
같은 주제
