오늘부터 AI 크롤러가 기본 차단됩니다 — 클라우드플레어의 9월 15일과 광고가 있는 페이지
클라우드플레어가 오늘부터 새 도메인과 무료 고객 사이트에서 훈련·에이전트 크롤러를 기본 차단합니다. 광고가 기준이 된 이유와 구글봇이 함께 막히는 문제를 짚었습니다.
클라우드플레어
막아 놨는데 15%가 들어왔습니다 — 톨빗이 잰 AI 페처의 robots.txt 무시율
톨빗 상반기 실측에서 유럽 AI 페이지 페처의 약 15%가 차단된 주소에 접근했습니다. 챗GPT-유저·바이트스파이더·유봇은 자신을 막은 사이트의 절반에서 확인됐습니다.
클라우드플레어가 탭 없는 브라우저를 만들었어요 — AI 에이전트 전용 Kitesurf 완전 정리
클라우드플레어가 8월 7일 Kitesurf를 내놨어요. 사람이 아니라 AI 에이전트만 쓰라고 만든 브라우저입니다. 크로미움보다 CPU는 3.1~3.8배, 메모리는 4.7~7배 덜 쓰지만 작업 시간은 오히려 1.7~1.8배 느립니다. 그런데도 이득인 이유를 숫자와 구조로 풀어봤어요.