Vercel Serverless 타임아웃을 우회해 분리형 문서 수집 파이프라인을 구축한 방법

이 글은 문서 수집과 임베딩 작업을 Vercel 서버리스 라우트 밖의 큐 기반 워커 파이프라인으로 옮겨 타임아웃 문제를 피한 사례를 설명한다.

Next.js 라우트는 업로드 검증과 작업 등록을 담당하고, BullMQ와 Redis가 Railway의 영구 워커를 통해 백그라운드 처리를 조율한다.

워커는 Cloudflare R2에서 파일을 스트리밍해 텍스트를 청크로 나누고 임베딩을 생성하며, Postgres 락으로 쿼터 갱신과 중복 처리 안전성을 확보한다.

또한 저장 없이 웹훅으로 임베딩을 반환하는 무상태 패스스루 모드도 제공해 RAG 등 비동기 AI 워크플로에 적합하다.