Kubernetes 클러스터에서 GPU 용량의 95%가 사용되지 않는다

Cast AI의 조사에 따르면 수만 개의 Kubernetes 클러스터에서 GPU 평균 사용률은 5%에 불과했다.

CPU 사용률은 8%, 메모리 사용률은 20%로, 유료로 확보한 용량이 대거 유휴 상태인 것으로 나타났다.

클라우드 비용이 오르는 가운데 AI 인프라 지출의 비효율이 매우 크다는 점을 보여준다.

워크로드와 트래픽이 계속 변하기 때문에, 한 번의 튜닝만으로는 충분하지 않다는 시사점도 나온다.