궤적 스냅샷 기반 에이전트 실패 예측에서 기본 RAG보다 구조적 검색이 더 유망
Structural retrieval shows promise over basic RAG for agent failure prediction on trajectory snapshots
TL;DR AI
1분핵심 요약
연구진은 에이전트 궤적 스냅샷으로 실패를 예측하는 구조 인식형 검색 엔진을 평가했다.
KNN 투표를 사용한 방식은 보류된 궤적에서 60단계 이후 평균 ROC AUC 약 0.705를 기록해, 기본 RAG의 약 0.60보다 높았다.
하지만 평가 데이터는 단일 저장소의 220개 궤적에 불과해 신뢰구간이 겹쳤고, 결과는 아직 예비적이다.
이번 결과는 모니터링, 반성(reflection), 기타 에이전트 인프라 작업에 구조를 반영한 검색이 필요할 수 있음을 시사한다.