Mistral AI, Mistral Small 4 출시: 명령, 추론, 멀티모달 작업을 통합한 119B 파라미터 MoE 모델

Mistral Small 4 출시되었다, mistral AI가 Mistral Small 4를 Mistral Small 계열로 공개했다.

모델 구조 128 전문가와 토큰당 4개 활성 전문가를 사용하는 Mixture-of-Experts 설계를 사용한다 모델은 128개의 전문가와 토큰당 4개의 활성 전문가를 갖춘 MoE 구조다.

모델 크기 총 119B 파라미터와 토큰당 6B 활성 파라미터(임베딩·출력 포함 시 8B)를 갖고 있다 총 1190억 파라미터이며, 토큰당 활성 파라미터는 60억(임베딩·출력 포함 시 80억)이다.

컨텍스트 창 256k 컨텍스트 창을 지원한다 모델은 256k 토큰 컨텍스트 창을 지원한다.

입출력 형식 텍스트 및 이미지 입력을 받고 텍스트 출력을 생성한다 모델은 텍스트와 이미지 입력을 받고 텍스트 출력을 생성한다.