마이아 200로 보는 마이크로소프트 Azure의 복잡한 AI 컴퓨트 미래
Microsoft’s Azure Maia chief on the complex future of AI compute
TL;DR AI
1분핵심 요약
마이크로소프트는 Azure의 추론 비용 절감을 위해 Maia 200을 개발했다.
Maia 200은 216GB HBM3e·272MB 온다이 SRAM·약 7TB/s 대역폭을 제공한다.
Azure는 추상화 계층으로 Maia 200을 제공하고 워크로드별로 다른 칩을 선택할 수 있다.
Maia 200은 훈련용이 아니라 추론용이며 Triton·PyTorch SDK 프리뷰로 이용 가능하다.
같은 주제
