Diffusers에 Nunchaku 4비트 확산 추론 도입

Diffusers가 이제 Nunchaku Lite 체크포인트를 네이티브로 지원해 4비트 diffusion 추론이 가능해졌습니다.

별도 추론 엔진이나 로컬 CUDA 컴파일 없이 from_pretrained()로 바로 모델을 불러올 수 있습니다.

이 글은 Nunchaku의 기반 기술인 SVDQuant를 설명하고, 사전 양자화된 파이프라인 실행 방법을 소개합니다.

지원되는 GPU에서는 메모리 사용량을 대략 절반으로 줄이면서 생성 속도도 높일 수 있습니다.