임계값 기반 심볼 랭킹을 통한 LLM 기반 소스 코드 압축

연구진은 LLM의 예측을 상위 순위 기호로만 제한하고 나머지는 예외로 처리하는 임계값 기반 symbol-ranking 압축기를 제안했다.

이 방법은 30개 언어 모델 전반에서 기존 LLM 기반 압축보다 압축률과 처리 속도를 모두 개선했다.

소스 코드 압축 효율에서는 zstd, bzip2 같은 범용 압축기보다 더 좋은 성능을 보여 대규모 소프트웨어 아카이브에 유망한 대안이 됐다.