ThoughtTrace: 실제 환경의 LLM 상호작용에서 사용자 생각 이해하기

ThoughtTrace는 실제 사용자-AI 대화에 사용자의 자기보고 생각을 함께 담은 새로운 데이터셋이다.

1,058명의 사용자, 2,155개 대화, 17,058개 턴, 10,174개의 생각 주석을 20개 언어 모델에 걸쳐 수집했다.

분석 결과 사용자 생각은 실제 채팅 메시지와 자주 달라, 숨은 목표와 선호를 드러낸다.

연구진은 이 주석들이 사용자 행동 예측을 개선하고 더 개인화된 비서 학습에 도움이 된다고 본다.