클라우드 없이 하는 에이전틱 코딩: 종단형 데이터 준비 작업에서 오픈웨이트 대규모 언어 모델 평가

연구진은 로컬에서 실행 가능한 오픈웨이트 LLM 에이전트를 장기 추적 데이터 준비에 적용해, 20개 과제와 6개 코호트 파동에서 높은 성능을 확인했다.

특히 31B~35B급 상위 모델들은 거의 포화 수준의 결과를 보여, 반복적이고 표준화된 작업을 상당 부분 처리할 수 있음을 시사했다.

이 벤치마크는 클라우드 사용이 제한된 연구 환경에서도 개인정보를 지키면서 온디바이스 AI 지원을 활용할 수 있는 가능성을 보여준다.

적용 가능 영역으로는 다중 파동 병합, 범주 통합, R 코드 생성 등이 있으며, 소비자용 하드웨어에서도 동작할 수 있다.