독일 AI 컨소시엄, 영어와 독일어 벤치마크 모두에서 최고 성능을 보이는 오픈 30B 모델 Soofi S 공개

독일 AI 컨소시엄이 영어·독일어에서 강한 성능을 보이는 30B 오픈 Mixture-of-Experts 모델 Soofi S를 공개했다.

출시 후 팀은 대규모 학습 방식에 대한 비판을 받았고, 이어 학습 데이터에서 벤치마크 오염 문제를 확인해 수정했다고 밝혔다.

GPQA를 평가에서 제외하고 결과를 업데이트했으며, 최신 수치는 오염 문제를 반영한 뒤 재산정됐다.

컨소시엄은 공개 데이터셋 덕분에 커뮤니티가 문제를 찾아낼 수 있었다며, 이후 더 엄격한 데이터 교차 검증 절차를 도입했다고 설명했다.