봇도 빠른 페이지를 읽는다: AI 크롤러 감사 후 우리가 우선순위를 재조정한 것

AI 크롤러 감사에서 GPTBot 등 봇이 일반 SEO 점검으로는 드러나지 않던 느리거나 차단된, 또는 JavaScript 전용 페이지에 접근하고 있음이 확인됐다.

서버 로그는 롱테일 URL 지연, 클라이언트 렌더링 셸, 소프트 404, robots.txt 차단 같은 문제를 보여줬다.

팀은 실제 크롤러 요청을 직접 확인하고, TTFB를 측정하며, 첫 응답에 의미 있는 HTML이 들어있는지 검증하는 방식으로 프로세스를 바꿨다.

핵심은 검색·AI 시스템이 콘텐츠를 실제로 가져갈 수 있도록, 광범위한 성능 모니터링보다 먼저 크롤러 접근성과 fetch readiness를 점검하는 것이다.