기억이 해자일까? | Wafer

Wafer는 AMD MI355X로 Kimi K3 추론을 벤치마크한 결과, NVIDIA B200·B300 대비 성능 대비 비용이 더 좋다고 보고했다.

Kimi K3는 너무 커서 8-GPU B200 노드 하나에 담기지 않으며, MI355X의 288GB HBM 용량이 큰 강점으로 꼽혔다.

MI355X는 노드당 초당 952토큰 수준의 처리량을 보였고, 대형 오픈소스 모델 서빙에서 메모리 용량이 경쟁력으로 부상하고 있음을 보여줬다.

다만 AMD는 ROCm, 커널 성숙도, 소프트웨어 지원 측면에서 여전히 엔지니어링 과제가 남아 있다.