아마존봇이 드디어 robots.txt를 준수하기 시작했다 | Hacker News

해커 뉴스에서는 Amazonbot이 이제 robots.txt 규칙을 따르기 시작했다고 전했다.

이번 변화는 아마존의 크롤러가 더 준수하는 웹봇처럼 동작하고 있음을 시사한다.

댓글에서는 WAF와 Cloudflare 기반 제어를 통한 봇 트래픽 차단 방법도 함께 거론됐다.

이는 자동 스크래핑과 AI 크롤러 접근을 어떻게 관리할지에 대한 더 큰 우려를 보여준다.