MobileMoE: 온디바이스 Mixture of Experts 확장

연구진은 스마트폰용 소형 온디바이스 Mixture-of-Experts 언어모델 패밀리인 MobileMoE를 공개했다.

이 모델은 모바일 특화 스케일링 법칙과 다단계 학습 절차로 학습돼, 강력한 dense 및 MoE 기준 모델과 비슷하거나 더 나은 성능을 보였다.

MobileMoE는 더 적은 추론 FLOPs로 더 높은 벤치마크 성능을 내며, INT4 배포를 포함해 스마트폰 추론도 더 빠르다.

이번 결과는 희소 전문가 모델이 모바일 AI에서 실용적일 수 있음을 보여주며, 효율성과 성능의 새 기준을 제시한다.