Diffusers에 Nunchaku 4비트 디퓨전 추론 도입
Bringing Nunchaku 4-bit Diffusion Inference to Diffusers
TL;DR AI
1분핵심 요약
Diffusers가 이제 SVDQuant 기반 4비트 확산 추론용 Nunchaku Lite 체크포인트를 기본 지원합니다.
사용자는 `from_pretrained()`로 모델을 불러와 로컬 CUDA 컴파일이나 별도 추론 엔진 없이 실행할 수 있습니다.
이번 업데이트에는 새 모델을 양자화하고 표준 Diffusers 저장소로 배포하는 도구도 포함됩니다.
대형 diffusion 모델의 VRAM 사용량을 크게 줄이고 추론 속도를 높여, 특히 NVIDIA Blackwell 같은 최신 GPU에서 유리합니다.



