ChunkFT: 메모리 효율적인 전체 파인튜닝을 위한 바이트 스트리밍 최적화

연구진은 대규모 언어 모델의 전체 파인튜닝을 더 적은 메모리로 수행하는 ChunkFT를 제안했다.

ChunkFT는 파라미터를 청크 단위로 스트리밍해 한 번에 일부만 활성화하고, 모델 구조를 바꾸지 않고도 임의의 하위 텐서에 대한 그래디언트를 계산한다.

이 방식은 GPU 메모리 사용량을 크게 줄이면서도 런타임과 최적화 성능을 안정적으로 유지한다.

언어 이해, 수학 추론, MT-Bench 등에서 기존 메모리 효율형 방법들과 비슷하거나 더 나은 결과를 보였다.

적은 하드웨어로도 고품질 전체 모델 적응을 더 저렴하고 쉽게 만들 수 있다는 점이 핵심이다.