LoRA는 어떻게 기억하는가? LLM 미세조정을 위한 매개변수 기억 법칙

연구진은 LoRA를 이용해 LLM 미세조정에서의 정확한 파라메트릭 메모리를 측정했고, 메모리 손실이 모델·학습 요인에 따라 멱법칙을 따른다는 점을 밝혔다.

또한 greedy decoding에서 토큰 단위의 회수 임계값을 찾아, 언제 문자 그대로의 기억이 무너지기 시작하는지 설명했다.

이 연구는 어려운 토큰에 학습을 집중하는 임계값 기반 학습법 MemFT를 제안했다.

MemFT는 메모리 충실도를 높이고 대형 언어모델의 정확한 회수 효율을 개선한다.