TIDE: I/O를 고려한 전문가 오프로딩으로 효율적이고 손실 없는 MoE 확산 LLM 추론
TIDE: Efficient and Lossless MoE Diffusion LLM Inference with I/O-aware Expert Offload
TL;DR AI
1분핵심 요약
연구진이 확산형 MoE 언어모델을 위한 무손실 추론 시스템 TIDE를 공개했다.
TIDE는 전문가 활성화의 시간적 안정성을 활용해 일정 주기로 전문가 배치를 갱신, I/O 트래픽과 CPU 작업을 줄인다.
이 방식은 재학습이 필요 없으며 LLaDA2.0-mini와 LLaDA2.0-flash 테스트에서 단일 GPU-CPU 환경의 처리량을 높였다.
제한된 하드웨어에서도 대형 확산 모델의 배포 효율을 높일 수 있는 학습 없는 방법을 제시한다.
같은 주제
