저는 저널리즘을 위한 자체 호스팅 RAG 시스템을 구축했습니다 — 프로덕션 검색에서 배운 것

한 개발자가 저널리즘용 자체 호스팅 RAG 시스템 Atlas를 만들며 얻은 운영 교훈을 공유했다. Atlas는 인용된 답변, 팩트체크, 브리핑, 재가공 콘텐츠를 생성한다.

Atlas는 실시간 뉴스 피드를 수집하고, 로컬에서 임베딩을 생성한 뒤, PostgreSQL과 pgvector에 저장하는 완전 자체 호스팅 파이프라인이다.

운영 과정에서 순수 벡터 검색은 뉴스 고유명사를 잘 놓쳤고, 이를 해결하기 위해 전문 검색과 랭크 퓨전을 결합한 하이브리드 검색으로 전환했다.

또한 배치 임베딩이 수집 속도를 크게 높여, 실제 운영에 더 적합한 처리 성능을 얻을 수 있었다.