혼합 전문가용 신뢰도 적응형 SwiGLU
Confidence-Adaptive SwiGLU for Mixture-of-Experts
TL;DR AI
1분핵심 요약
연구진은 Mixture-of-Experts Transformer용 신뢰도 인지형 SwiGLU 변형인 κ-SwiGLU를 제안했다.
이 방법은 라우터 로짓에서 나온 토큰 단위 라우팅 신뢰도를 바탕으로 게이트의 날카로움을 조절한다.
FineWeb-Edu에서 8~28층 MoE Transformer에 적용했을 때 평균 CORE 성능이 향상됐다.
추가 파라미터는 거의 없었고, 계산 비용 증가도 작았다.