연구진, 전문가의 12.5%만으로도 거의 완전한 성능을 내는 AI 모델 훈련
Researchers train AI model that achieves near-full performance with just 12.5 percent of its experts
TL;DR AI
1분핵심 요약
AI2와 UC Berkeley 연구진은 문서 경계를 활용해 전문가들이 더 깔끔하게 분화하도록 학습한 혼합 전문가(MoE) 모델 EMO를 공개했다.
EMO는 전체 규모에서는 일반 MoE와 비슷한 성능을 냈고, 전문가 수를 25%와 12.5%까지 줄여도 성능을 거의 유지했다.
반면 기존 MoE는 같은 축소 과정에서 성능이 크게 떨어져, EMO가 훨씬 더 모듈화되어 있음을 보여줬다.
이번 결과는 더 적은 메모리로 동작하는 MoE와, 손실이 적은 도메인별 서브모델 추출 가능성을 시사한다.