RealICU: LLM 에이전트는 긴 문맥의 ICU 데이터를 이해할 수 있을까? 행동 모방을 넘어선 벤치마크

연구진은 긴 ICU 환자 경과를 바탕으로 LLM 에이전트의 추론과 임상 의사결정을 평가하는 hindsight 라벨 벤치마크 RealICU를 공개했다.

RealICU는 중환자 전문의가 전체 맥락을 검토해 주석을 달았으며, 환자 상태·급성 문제·권장 조치·위험한 금지 조치를 묻는 과제로 구성된다.

데이터셋은 RealICU-Gold와 더 큰 RealICU-Scale 두 가지로 제공되며, MIMIC-IV와 ICU-Evo 기반 ICU 궤적에서 구축됐다.

평가 결과 기존 LLM들은 초기 인상에 끌리는 경향과 함께 기억-안전성 간 트레이드오프를 보이며 성능이 낮았다.

구조화된 메모리 에이전트는 장기 추론을 개선했지만, 안전성 문제를 완전히 해결하지는 못했다.