Zyphra, ZAYA1-8B-Diffusion-Preview 공개: 최대 7.7배 속도 향상을 이룬 최초의 자회귀 LLM 변환 MoE 디퓨전 모델
Zyphra Releases ZAYA1-8B-Diffusion-Preview: The First MoE Diffusion Model Converted From an Autoregressive LLM With Up to 7.7x Speedup
TL;DR AI
1분핵심 요약
Zyphra가 ZAYA1-8B 오토리그레시브 MoE 체크포인트를 변환해 만든 ZAYA1-8B-Diffusion-Preview를 공개했다.
이 모델은 추가 중간 학습과 파인튜닝을 거쳤으며, 기존 베이스 모델과 비슷한 수준의 성능을 유지한다고 Zyphra는 밝혔다.
AMD 하드웨어에서는 최대 7.7배 빠른 추론 속도를 보여, 효율성 개선 효과가 크다는 점을 입증했다.
이번 공개는 기존 LLM을 처음부터 다시 학습하지 않고 diffusion 모델로 전환하는 실용적 경로를 보여준다.