AI 학습용 리디렉션, 표준 콘텐츠 적용

Cloudflare는 “Redirects for AI Training” 기능을 출시해, canonical 링크와 봇 분류를 활용해 검증된 AI 학습 크롤러를 canonical 페이지로 301 리다이렉트합니다.

이 기능은 GPTBot, ClaudeBot, Bytespider 같은 크롤러를 대상으로 하며, 사람 방문자와 다른 비검증 트래픽에는 영향을 주지 않습니다.

Cloudflare는 최신 문서와 AI 학습 데이터를 맞추고, 오래되거나 폐기된 콘텐츠가 모델에 퍼지는 것을 줄이는 것이 목적이라고 설명했습니다.

또한 Radar의 AI Insights에는 응답 상태 코드 분석이 추가돼, Cloudflare 트래픽에서 AI 크롤러가 어떻게 처리되는지 볼 수 있습니다.