왜 우리는 AI 시대를 맞아 캐시를 다시 생각하고 있는가

Cloudflare는 ETH Zurich 연구진과 함께 AI 크롤러 트래픽이 인간의 브라우징과 다르게 움직여 웹 캐시 효율을 크게 떨어뜨릴 수 있다고 밝혔다.

회사는 현재의 CDN 캐시 설계가 스크래핑과 검색증강생성(RAG) 같은 AI 시대의 접근 패턴에 충분히 맞지 않는다고 지적했다.

캐시 적중률이 낮아지면 원본 서버로 가는 트래픽과 비용이 늘어나, 사이트 운영자는 사람 사용자 성능과 자동화된 AI 접근 사이에서 균형을 고민해야 한다.

Cloudflare는 AI 크롤러를 더 잘 처리하고 효율을 유지하기 위해 CDN에 새로운 캐시 구조가 필요할 수 있다고 본다.