SCICONVBENCH: 계산 과학의 과제 정의를 위한 다중 턴 명확화에서 LLM 벤치마킹

연구진은 계산과학 대화에서 LLM이 모호하거나 모순된 요청을 어떻게 명확히 하는지 평가하는 벤치마크 SCICONVBENCH를 제안했다.

이 벤치마크는 태스크 온톨로지와 루브릭 기반 채점을 사용하며, 유체역학·고체역학·재료과학·편미분방정식의 4개 도메인을 포함한다.

실험 결과, 최첨단 모델은 빠진 정보를 묻기보다 모순을 바로잡는 데 더 강했지만, 근거 없는 가정을 자주 내렸다.

이번 연구는 계산이 시작되기 전 과제 사양을 정확히 확정하는 것이 과학용 AI 보조도구의 핵심 과제임을 보여준다.