내가 LLM을 위한 제로 토큰 메모리 레이어를 만든 방법과 그것이 벡터 스토어 방식보다 뛰어난 이유
How I built a zero-token memory layer for LLMs (and why it outperforms vector store approaches)
TL;DR AI
1분핵심 요약
이 글은 LLM 앱용 메모리 계층 BECOMER를 소개하며, 재호출 시 LLM을 쓰지 않고 임베딩으로 문맥을 저장·검색하는 ‘제로 토큰’ 방식을 강조한다.
mem0, Zep 같은 도구보다 재호출당 토큰 오버헤드가 낮아, 챗봇과 에이전트의 운영 비용을 대규모로 줄일 수 있다고 주장한다.
LongMemEval 벤치마크에서는 좋은 성능을 보였지만, LOCOMO 같은 멀티홉 과제에서는 성능이 상대적으로 약했다.
또한 사용자 분리, 공유 에이전트 네임스페이스, SDK, 그리고 LangChain·LlamaIndex·LangGraph·CrewAI·AutoGen 등과의 연동을 지원한다.
같은 주제
