Ollama, ChromaDB, LangChain으로 로컬 RAG 어시스턴트를 구축해 보니 알게 된 점

기술자들이 수천 페이지의 내부 및 회계 매뉴얼을 검색할 수 있도록 완전 로컬 RAG 어시스턴트가 구축됐다.

이 시스템은 PDF를 수집해 청크로 나눈 뒤 ChromaDB에 임베딩하고, 관련 문서를 검색해 로컬 Llama 3 모델(Ollama)로 답변을 생성한다.

모델, 벡터 저장소, API, 웹 UI를 Docker Compose로 배포해 민감한 데이터를 사내 인프라에 그대로 유지했다.

이 사례는 클라우드 노출을 줄이면서 LLM으로 문서 검색과 지원을 제공하고 환각도 완화할 수 있음을 보여준다.