코드스트랄 맘바 | 미스트랄 AI

Codestral Mamba 무료로 사용, 수정, 배포할 수 있다, mistral AI가 새 아키텍처 연구로 공개.

Albert Gu와 Tri Dao의 도움으로 설계되었다 설계에 기여한 인물들이 명시됨.

Mamba 모델들 선형 시간 추론과 이론적으로 무한 길이 시퀀스 모델링 능력을 제공한다, transformer 모델과의 차이점으로 제시됨.

Codestral Mamba 인컨텍스트 검색 능력을 최대 256k 토큰까지 테스트했다 평가 항목으로 제시된 성능.

파라미터 수는 7,285,403,648개이다 모델 크기 정보.