언어 바꾸기English
이전 목록

Diffusers에 Nunchaku 4비트 디퓨전 추론 도입

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

TL;DR AI

핵심 요약

1분
  1. Diffusers가 이제 SVDQuant 기반 4비트 확산 추론용 Nunchaku Lite 체크포인트를 기본 지원합니다.

  2. 사용자는 `from_pretrained()`로 모델을 불러와 로컬 CUDA 컴파일이나 별도 추론 엔진 없이 실행할 수 있습니다.

  3. 이번 업데이트에는 새 모델을 양자화하고 표준 Diffusers 저장소로 배포하는 도구도 포함됩니다.

  4. 대형 diffusion 모델의 VRAM 사용량을 크게 줄이고 추론 속도를 높여, 특히 NVIDIA Blackwell 같은 최신 GPU에서 유리합니다.

원문 보기