언어 바꾸기English
이전 목록
하드웨어Wccftech

AMD의 vLLM-ATOM 플러그인, Instinct MI350 및 MI400 가속기에서 DeepSeek-R1, Kimi-K2, gpt-oss-120B AI LLM 추론 성능 대폭 향상

AMD’s vLLM-ATOM Plugin Supercharges DeepSeek-R1, Kimi-K2, and gpt-oss-120B AI LLM Inference on Instinct MI350 and MI400 Accelerators

TL;DR AI

핵심 요약

1분

  1. AMD는 vLLM용 플러그인 백엔드 vLLM-ATOM을 출시해 Instinct MI350 및 MI400 가속기용 AMD 최적화 모델 코드와 GPU 커널을 추가했다.

  2. 이 플러그인은 DeepSeek-R1, Kimi-K2, gpt-oss-120B 등 여러 LLM/VLM 아키텍처를 지원하며, 기존 vLLM API는 그대로 유지한다.

  3. AMD는 이를 통해 기존 vLLM 사용자들의 워크플로를 바꾸지 않으면서도 프로덕션 추론과 서빙 속도를 높일 수 있다고 설명했다.

  4. 또한 향후 개선 사항을 upstream해 오픈소스 생태계 전반으로 최적화를 확산할 계획이다.

원문 보기