RSIBench-Data: 재귀적 자기개선을 위한 데이터 중심 연구 벤치마킹

연구진은 고정된 포스트트레이닝 파이프라인에서 LLM 에이전트를 데이터 중심 연구자로 평가하는 벤치마크 RSIBench-Data를 공개했다.

여섯 개 벤치마크에서 네 개의 최첨단 에이전트를 시험한 결과, 피드백을 통해 성능이 오르기도 했지만 개선은 들쭉날쭉했고 이후 수정안이 초기 최고 성과를 넘지 못하는 경우도 많았다.

더 강한 결과는 정확한 가설, 검증 기반 감독, 행동과 맞는 데이터, 그리고 강한 체크포인트를 유지하는 것과 관련이 있었다.

RSIBench-Data는 실패한 실행의 피드백을 바탕으로 데이터 선택을 개선하는지 측정해, 재귀적 자기개선의 핵심 능력을 평가할 수 있게 한다.