A Cloudflare anunciou nesta quarta-feira uma nova política que exige que as empresas de inteligência artificial separarem os robôs de busca usados para pesquisa tradicional daqueles utilizados para agentes de IA e treinamento de modelos. A medida entra em vigor em 15 de setembro de 2026.
A partir dessa data, as configurações padrão da Cloudflare bloquearão robôs de "uso misto" de qualquer página que hospede anúncios, a menos que o proprietário do site altere essa configuração. A mudança afetará novos clientes da empresa, novos sites criados por clientes existentes e todos os clientes do plano gratuito.
A empresa destaca que a maioria dos editores deseja que seu conteúdo seja descobertável por mecanismos de busca e frequentemente por serviços de inteligência artificial, mas quer proteção contra a distribuição gratuita de sua propriedade intelectual. A Cloudflare criticou especificamente o "maior mecanismo de busca do mundo", numa referência clara ao Google, por ter acesso a aproximadamente "duas vezes mais informações" do que outras empresas de IA, porque a gigante das buscas dificulta que os clientes permaneçam descobertáveis sem serem usados para treinamento de modelos.
O Google respondeu a essa generalização no passado, afirmando que oferece um robô chamado Google Extended que permite aos editores optarem por não ter seu conteúdo usado para treinamento e produtos de IA como Gemini Apps e Vertex API. O uso dessa ferramenta não afeta a inclusão do site na busca do Google.
"Agora que a maioria do tráfego na internet é não humano, devemos ir mais longe e agir mais rapidamente para que um ecossistema sustentável possa surgir", declarou Matthew Prince, cofundador e diretor executivo da Cloudflare, ao anunciar a mudança. Ele se referiu ao marco recente em que os robôs ultrapassaram o tráfego humano online pela primeira vez, algo que não era esperado para ocorrer antes do próximo ano.
A Cloudflare oferece diversas ferramentas para ajudar usuários a lançar seus próprios sistemas de inteligência artificial, além de ter lançado uma série de recursos para dar aos editores mais controle sobre seu conteúdo na era da IA. Recentemente, a empresa criou ferramentas para combater robôs de IA, incluindo um marketplace que permite aos sites cobrar dos robôs de IA pela raspagem de conteúdo, chamado Pay Per Crawl. Esse recurso está evoluindo para "Pay Per Use", que permitirá aos editores cobrarem das empresas de IA quando seu conteúdo gerar valor, não apenas quando for recuperado.
A mudança também pode ajudar a preservar a largura de banda e os recursos computacionais dos editores, já que dados da Cloudflare indicam que mais de 50% do tráfego de raspagem de robôs de IA é gasto em refetch de páginas inalteradas. Para colocar isso em prática, a Cloudflare está trabalhando inicialmente com duas parceiras, Ceramic.ai e You.com. Quando um editor opta por participar, ele é pago quando seu conteúdo aparece nos resultados de busca de IA da Ceramic ou quando a You.com acessa uma peça de seu conteúdo premium.
Outras empresas de IA podem personalizar esse modelo de acordo com sua forma de trabalho, segundo a Cloudflare.
Fonte: TechCrunch
