TransMem: 대규모 언어 모델을 위한 은닉 상태를 메모리로 변환하기
TransMem: Transforming Hidden States into Memory for Large Language Models
TL;DR AI
1분핵심 요약
연구진이 TransMem을 제안했다. 이는 고정된 대규모 언어모델을 위한 추론 단계 메모리 모듈로, 과거의 희소한 hidden state를 재사용 가능한 표현으로 바꿔 활용한다.
TransMem은 게이팅 네트워크로 메모리를 주입하고, 증거 조건부 self-distillation으로 추가적인 태스크 지식 없이 메모리 사용을 학습한다.
이 방식은 긴 대화 이력에서 반복적인 문맥 인코딩을 줄이면서 추론을 돕는 경량 메모리 접근법이다.
LoCoMo, HotpotQA, MemoryAgentBench에서 여러 모델 크기와 아키텍처에 걸쳐 성능 향상을 보였다.