벤치마크 구축을 통한 AI 교육: 책임 있는 지식 노동을 위한 강의 기반 실천으로서의 QuestBench

QuestBench는 학생들이 AI 시스템을 시험할 질문을 직접 만들고 검토하는 수업 기반 벤치마크다.

이 프로젝트는 인문학·사회과학 14개 분야에 걸쳐 256개의 질문을 만들어 실전형 AI 평가 데이터셋을 구축했다.

13개 시스템을 테스트한 결과 성능은 전반적으로 낮았고, 최고 시스템의 정답률은 57.58%, 평균은 16.85%였다.

이 연구는 AI 교육의 초점을 생산성 도구 활용에서 머신이 생성한 지식의 신뢰성 판단으로 옮긴다.