Rule2DRC: 실행 유도 테스트 생성으로 DRC 스크립트 합성을 평가하는 LLM 에이전트 벤치마크

연구진이 자연어 칩 설계 규칙으로부터 DRC 스크립트를 생성하는 LLM용 벤치마크 Rule2DRC를 공개했다.

이 벤치마크는 1,000개의 rule-to-script 과제와 13,921개의 평가 레이아웃을 포함해, 더 현실적이고 확장 가능한 평가를 제공한다.

또한 실행 피드백을 활용해 판별력 있는 테스트를 만들고 후보 스크립트 선택을 개선하는 SplitTester도 함께 제시했다.

이번 연구는 생성된 스크립트가 실제로 동작하는지 평가함으로써, 참고 코드와의 유사성만 보던 기존 한계를 보완한다.