NVIDIA, 모두가 AI TCO를 다시 생각해야 한다고 말하다… "토큰당 비용"이 유일하게 중요한 지표인 이유 설명

NVIDIA는 AI 인프라의 총소유비용(TCO)을 볼 때 FLOPS나 GPU 사양보다 ‘토큰당 비용’이 핵심 지표라고 강조했다.

엔터프라이즈 고객은 실제 AI 추론에서 얼마나 많은 출력을 더 낮은 비용으로 뽑아내는지가 중요하다고 NVIDIA는 주장했다.

Hopper와 Blackwell 추론 결과를 비교한 결과, Blackwell이 더 높은 처리량과 더 낮은 토큰 비용을 보여줬다고 설명했다.

이 메시지는 AI 하드웨어를 고를 때 원시 성능보다 운영 효율과 실제 추론 가치에 초점을 맞추게 만든다.