모델을 이미지에 구워 넣었다면, 환경 변수 하나로 몰래 되돌릴 수 있다
You baked the model into the image. One env var can silently un-bake it
TL;DR AI
1분핵심 요약
Hugging Face 모델 가중치를 빌드 단계에서 미리 내려받아 컨테이너 이미지에 담으면 서버리스 GPU의 콜드 스타트를 줄일 수 있다.
하지만 런타임에 HF_HOME 경로가 달라지면, 로더가 이미지에 구워 넣은 캐시를 찾지 못하고 가중치를 다시 다운로드할 수 있다.
이 과정은 에러 없이 조용히 발생할 수 있어, 기대했던 시작 속도 개선이 사라지고 네트워크 요청만 늘어날 수 있다.
해결책은 빌드와 실행 환경의 캐시 설정을 맞추고, 완전히 bake된 자산을 원한다면 볼륨 사용을 피하며 로그에서 재다운로드 여부를 확인하는 것이다.