MEMO: LLM 파라미터를 수정하지 않고 새로운 지식을 위한 전용 메모리 모델을 학습하는 모듈형 프레임워크

연구진은 LLM의 가중치를 바꾸지 않고 지식을 업데이트하는 모듈형 메모리 시스템 MEMO(Memory as a Model)를 제안했다.

MEMO는 문서 코퍼스에서 생성한 질의응답 데이터로 전용 MEMORY 모델을 학습하고, 고정된 EXECUTIVE LLM이 구조화된 멀티턴 프로토콜로 이를 활용해 추론한다.

이 방식은 고비용 재학습이나 망각 문제 없이 새로운 정보를 흡수하면서 기존 성능을 유지할 수 있게 한다.

또한 일반적인 검색증강 방식보다 문서 간 추론 성능이 더 좋아, 다양한 모델과 벤치마크에서 강점을 보였다.