만나보세요 Mamba-3: 상태공간모델의 새 지평 — 상태 크기 2배 축소와 향상된 MIMO 디코딩 하드웨어 효율
Meet Mamba-3: A New State Space Model Frontier with 2x Smaller States and Enhanced MIMO Decoding Hardware Efficiency
TL;DR AI
1분핵심 요약
Mamba-3는 CMU 등 연구진이 발표한 추론 우선 SSM이다.
지수-사다리꼴 이산화, 복소수 상태 업데이트, MIMO 디코딩을 도입했다.
MIMO로 디코딩 연산량이 최대 4배 늘어나고 상태 크기를 절반으로 줄일 수 있다.
1.5B에서 Mamba-3 MIMO는 SISO 및 이전 모델보다 하향 정확도가 높았다.
같은 주제
