ProgramBench: 언어 모델은 프로그램을 처음부터 다시 만들 수 있을까? | Hacker News

Hacker News에서는 언어 모델이 실제 소프트웨어를 처음부터 다시 만들어낼 수 있는지 시험하는 ProgramBench를 두고 활발한 논의가 이어졌다.

일부 성과는 인터넷에서 코드를 찾아본 결과일 수 있다는 지적이 나오며, 치팅·데이터 오염·평가 공정성 문제가 제기됐다.

참여자들은 MirrorCode와 비교하면서, ProgramBench가 대형의 오래된 C 프로젝트와 완전한 테스트를 사용해 일반 코딩 벤치마크보다 훨씬 어렵다고 봤다.

이번 논의는 현재 코드 모델의 한계와 AI 보조 프로그래밍, 코드 재사용, 저작권에 대한 더 넓은 함의를 드러냈다.