하네스 업데이트는 하네스 이익이 아니다: 자기 진화하는 LLM 에이전트의 진화 역량 분리하기

연구진은 자기 진화형 LLM 에이전트에서 두 가지 능력, 즉 유용한 영구 하니스 업데이트를 만드는 능력과 실제 작업에서 그 업데이트의 효과를 누리는 능력을 평가했다.

하니스 업데이트 품질은 모델 성능 수준 전반에서 거의 비슷하게 유지돼, 더 강한 기반 모델이 항상 하니스 개선에 유리한 것은 아니었다.

하니스의 이점은 비단조적 패턴을 보였으며, 중간 수준 모델이 가장 큰 향상을 얻고 매우 약한 모델과 매우 강한 모델의 효과는 더 낮았다.

논문은 약한 모델의 실패 양상으로 관련 하니스 아티팩트를 활성화하지 못하거나 지시를 안정적으로 따르지 못하는 문제도 지적했다.

이번 결과는 에이전트 설계에서 단순한 모델 크기보다 과제 해결 능력과 하니스 내부 지시 준수 능력이 더 중요할 수 있음을 시사한다.