Moonshot AI, MoE 훈련을 위한 완벽한 균형의 Expert Parallelism 라이브러리 MoonEP 오픈소스 공개
Moonshot AI Open-Sources MoonEP: A Perfectly Balanced Expert Parallelism Library for MoE Training
TL;DR AI
1분핵심 요약
문샷 AI가 Mixture-of-Experts 학습을 위한 MIT 라이선스의 전문가 병렬 통신 라이브러리 MoonEP를 오픈소스로 공개했다.
MoonEP는 온라인으로 계획한 중복 expert, fused permute/unpermute, 고정 버퍼 형태를 활용해 각 rank의 부하를 균형 있게 유지한다.
문샷 AI는 MoonEP가 Kimi K3의 2.5배 스케일링 효율 향상에 기여한 구성 요소 중 하나라고 설명했다.
이번 공개는 Kimi K3 Open Day 자료와 다른 두 개의 인프라 코드베이스와 함께 이뤄졌다.