SimpleQA 소개

OpenAI가 사실성 평가를 위한 새 벤치마크 SimpleQA를 공개했다. 총 4,326개의 짧은 사실 확인형 질문으로 구성됐다.

이 데이터셋은 독립적으로 검증된 정답과 쉬운 채점을 목표로 설계돼, 평가가 간단하고 일관적이다.

질문은 단일하고 변하지 않는 답만 남기도록 걸러졌고, 여러 AI 트레이너가 교차 검증했으며, 내재 오류율은 약 3%로 추정된다.

SimpleQA는 TriviaQA나 NQ보다 모호성이 낮고, GPT-4o와 o1 같은 최신 모델에도 더 까다로운 벤치마크를 지향한다.