검색을 넘어: 코드 검색을 위한 멀티태스크 벤치마크와 모델

연구진이 코드 검색을 위한 새로운 오염 제한 벤치마크 CoREB를 공개했다.

CoREB는 5개 프로그래밍 언어에서 텍스트→코드, 코드→텍스트, 코드→코드 검색을 등급화된 판단으로 평가한다.

이 벤치마크는 데이터 오염을 줄이면서 1차 검색을 넘어 실제 개발자 검색 행동을 더 잘 반영하도록 설계됐다.

결과적으로 짧은 키워드형 쿼리는 여전히 어렵고, 파인튜닝한 CoREB-Reranker는 기존 기본 모델보다 더 일관되게 성능을 높였다.