표준 HTTP 라이브러리가 웹 스크래핑에 쓸모없는 이유와 해결법
Why Standard HTTP Libraries Are Dead for Web Scraping (And How to Fix It)
TL;DR AI
1분핵심 요약
표준 HTTP 라이브러리는 TLS와 HTTP/2 신호를 노출해 WAF에 탐지된다.
WAF는 TLS ClientHello 지문과 H2 헤더 순서를 User-Agent와 대조한다.
저자는 curl_cffi 기반 FastAPI 사이드카로 Chrome의 TLS/H2를 모방했다.
사이드카는 타임아웃과 HTML 잘라내기로 Slowloris·gzip 폭탄을 방어한다.