LLM은 작업을 맡기면 문서를 망가뜨린다 | Hacker News

해커 뉴스 댓글에서는 LLM에 작업을 위임하면 문서가 훼손된다는 연구 결과를 비판했다.

댓글 작성자는 단순한 읽기/쓰기 파일 방식의 벤치마크가 모델보다 결과를 더 악화시켰을 가능성이 크다고 지적했다.

더 나은 편집 도구와 더 견고한 하니스가 있었다면 성능이 크게 좋아졌을 수 있다고 주장했다.

이번 논의는 LLM 벤치마크 결과가 모델 성능뿐 아니라 도구 설계와 프롬프트에 크게 좌우될 수 있음을 보여준다.