LLM을 전혀 호출하지 않는 메모리 레이어: 무엇을 얻고, 무엇을 잃는가
The memory layer that never calls an LLM: what that buys, and what it costs
TL;DR AI
1분핵심 요약
이 글은 원문 대화를 그대로 Postgres에 저장하는 LLM 없는 메모리 계층 RE-call과, 쓰기 시점에 LLM으로 기억을 압축하는 Mem0를 비교한다.
BEAM 벤치마크에서는 Mem0가 일부 항목, 특히 시간 추론에서 더 좋은 성능을 보였는데, 압축된 메모리가 흩어진 대화 로그보다 검색과 구분이 쉽기 때문이다.
대신 Mem0는 토큰 비용, 더 느린 ingest, 외부 데이터 전송이라는 부담이 있고, RE-call은 모델 비용이 없고 데이터를 로컬에 유지할 수 있다.
저자는 reranking도 중요한 변수라고 보고, 최종 선택은 정확도와 저비용 로컬 저장 중 무엇을 우선하느냐에 달려 있다고 결론짓는다.