그리드 게임: 대규모 언어 모델 양자화를 위한 다중 그리드의 힘

연구진은 각 양자화 그룹이 스케일 비트를 통해 여러 4비트 포맷 중 최적의 그리드를 선택하는 power-of-two-grids 기법을 제안했다.

이론적으로 소규모 그룹에서 효과가 가장 크고, 그룹이 매우 커질수록 이점은 줄어드는 것으로 나타났다.

PO2(NF4), MPO2, PO2(Split87), SFP4 등에서 실험한 결과, 적응형 그리드가 단일 FP4 그리드보다 더 좋은 성능을 보였다.

이 방식은 사후 학습 양자화와 사전 학습 모두에서, 가중치만 또는 가중치와 활성값을 함께 양자화할 때 성능 향상을 보였다.