Kimi K3 기술 보고서 해부: Moonshot AI, 두 개의 스케일링 축으로 프런티어를 재정의하며 DeepSeek에 문제를 제기하기 시작하다

문샷 AI가 47페이지 분량의 Kimi K3 기술 보고서를 공개하며, AI 스케일링을 사전 학습 컴퓨트와 배포 후 추론 컴퓨트의 두 축으로 재정의했다.

Kimi K3는 총 2.78조 파라미터, 토큰당 활성 1,042억 파라미터 수준으로 알려졌으며, DeepSeek V4 Pro를 두 배 이상 웃돈다고 주장한다.

핵심 기술로는 시퀀스 확장을 위한 KDA 선형 어텐션, 깊이 라우팅을 위한 AttnRes, 폭 확장을 위한 Stable LatentMoE가 제시됐다.

또한 전문가 통신용 MoonEP와 VM 기반 RL 샌드박스를 도입했고, 브라우징·코딩 벤치마크에서 경쟁력 있는 성능을 내세웠다.

전반적으로 문샷 AI는 Kimi K3를 통해 DeepSeek에 대한 아키텍처 중심의 정면 도전을 제시하고 있다.