A plataforma de hospedagem Cloudflare anunciou planos para bloquear automaticamente rastreadores web de uso misto que indexam sites para motores de busca e atuam simultaneamente como agentes e treinadores de inteligência artificial. Anteriormente, a empresa oferecia aos seus clientes a opção opcional de impedir que rastreadores coletassem seus sites para chatbots de IA, mas agora a postura da Cloudflare está se tornando mais defensiva por padrão.
Matthew Prince, diretor executivo e co-fundador da Cloudflare, declarou que, agora que a maioria do tráfego na internet é não humano, é necessário ir mais longe e agir mais rapidamente para que um ecossistema sustentável possa surgir. As novas ferramentas e parcerias da empresa oferecem aos proprietários de sites maior visibilidade e oportunidades comerciais, beneficiando também as empresas de IA que possuem robôs com intenção clara e transparente.
O tráfego da web costumava indicar que as pessoas estavam visualizando anúncios de um site ou pagando por suas assinaturas, mas a popularidade dos modelos de IA que podem visitar sites em nome de um usuário para obter informações atualizadas mudou esse sistema. A nova abordagem da Cloudflare é uma tentativa de reequilibrar a relação de forma justa tanto para empresas de IA quanto para qualquer pessoa que administra um site.
A partir de 15 de setembro de 2026, novos clientes e novos sites de assinantes existentes da Cloudflare terão por padrão a permissão para busca, mas bloquearão treinamento e uso de agente para páginas com anúncios. Rastreadores de uso misto que não oferecem aos proprietários de sites a opção de escolher se seu site será usado para IA também serão bloqueados em páginas com anúncios por padrão. Usuários com contas gratuitas também migrarão para esses padrões, a menos que optem por sair antes do prazo de 15 de setembro.
Como parte dessas mudanças, a Cloudflare também está lançando uma nova versão da funcionalidade Pay Per Crawl, introduzida em 2025, que permitia aos sites bloquear rastreadores web de IA por padrão, a menos que as empresas pagassem para coletar seu conteúdo. A funcionalidade agora é chamada Pay Per Use e, em vez de basear os pagamentos em whether uma página da web foi rastreada, a Cloudflare diz que os proprietários dos sites serão pagos quando seu conteúdo aparecer nas respostas dos chatbots de IA.
O anúncio menciona apenas parcerias com Ceramic.AI e You.com, mas a Cloudflare provavelmente espera que outras empresas de IA participem à medida que seus clientes optam por participar. Além de tentar generally tornar a relação entre sites e empresas de IA mais justa, a Cloudflare também parece estar mirando indiretamente o Google.
O anúncio da empresa menciona que o maior motor de busca tem acesso a cerca de duas vezes mais informações do que as principais empresas de IA porque dificulta para os clientes permanecerem detectáveis sem também serem usados para IA. O principal rastreador do Google, o Googlebot, indexa sites para os vários motores de busca da empresa e coleta informações para treinar o Gemini e alimentar recursos de IA como Resumos de IA e Modo de IA. O Google permite que os sites optem por um rastreador separado chamado Google-Extended que rastreia sites apenas para resultados de busca tradicionais, mas se um editor quiser ser incluído nos resultados do Modo de IA, mas não quer que seu conteúdo treine os modelos do Google, não há opção.
A nova política da Cloudflare é uma tentativa de forçar o Google e outras empresas com rastreadores de uso misto a mudarem suas táticas.
