Introdução
A Cloudflare acaba de estabelecer um novo marco para a indústria de inteligência artificial ao anunciar mudanças significativas em suas políticas de web crawling. A partir de 15 de setembro de 2026, a empresa de infraestrutura web bloqueará por padrão os crawlers de ‘uso misto’ – aqueles que combinam funções de busca tradicional com treinamento de IA e agentes autônomos – em páginas que hospedam anúncios. Esta decisão representa uma virada importante na batalha entre publishers de conteúdo e empresas de IA sobre o uso e monetização de dados na web.
A medida surge em um momento crítico, quando o tráfego de bots superou pela primeira vez o tráfego humano na internet, um marco que não era esperado antes do próximo ano. Esta mudança estrutural na composição do tráfego web torna ainda mais urgente a necessidade de estabelecer regras claras sobre como o conteúdo pode ser acessado e utilizado por sistemas automatizados.
O problema dos crawlers de uso misto
No centro desta questão estão os chamados crawlers de uso misto, que representam um desafio particular para os proprietários de sites. Estas ferramentas combinam múltiplas funcionalidades: coletam dados para mecanismos de busca tradicionais, alimentam o treinamento de modelos de IA e fornecem informações para agentes autônomos. O problema é que muitos publishers querem que seu conteúdo seja descoberto através de buscas, mas não necessariamente desejam que seja usado gratuitamente para treinar modelos de IA comerciais.
A Cloudflare faz uma crítica direta, embora sem nomear explicitamente, ao Google – referindo-se ao ‘maior mecanismo de busca do mundo’ que tem acesso a aproximadamente duas vezes mais informações que outras empresas de IA. A crítica aponta para a dificuldade que os publishers enfrentam: para permanecerem visíveis nas buscas do Google, muitas vezes precisam aceitar que seu conteúdo também seja usado para produtos de IA da empresa.
O Google, por sua vez, argumenta que oferece o bot Google Extended, que permite aos proprietários de sites optarem por não ter seu conteúdo usado para treinamento e produtos de IA como Gemini Apps e Vertex API. No entanto, o Googlebot principal continua coletando dados tanto para buscas tradicionais quanto para recursos de IA como AI Overviews e AI Mode, criando uma zona cinzenta que muitos publishers consideram problemática.
Como funcionarão as novas regras da Cloudflare
As mudanças anunciadas pela Cloudflare serão implementadas de forma abrangente. As novas configurações padrão se aplicarão a novos clientes da Cloudflare, novos sites criados por clientes existentes e todos os clientes gratuitos atuais. Isso significa que uma parcela significativa da web protegida pela Cloudflare passará a bloquear automaticamente crawlers de uso misto em páginas com publicidade.
Esta abordagem é particularmente interessante porque usa a infraestrutura como ferramenta de política de dados. A Cloudflare, que protege milhões de sites contra ataques DDoS e fornece serviços de CDN, está essencialmente criando uma barreira técnica que força as empresas de IA a separarem suas operações de coleta de dados.
Para os publishers, isso representa uma oportunidade de recuperar algum controle sobre como seu conteúdo é acessado e utilizado. Sites que dependem de receita publicitária terão uma camada adicional de proteção contra o uso não autorizado de seu conteúdo para treinamento de IA, a menos que optem explicitamente por permitir tal acesso.
A evolução do modelo Pay Per Crawl para Pay Per Use
Além das mudanças nas configurações padrão, a Cloudflare está expandindo seu marketplace que permite aos sites cobrarem de bots de IA pelo acesso ao conteúdo. O sistema Pay Per Crawl, lançado anteriormente, está evoluindo para um modelo mais sofisticado chamado Pay Per Use.
A diferença fundamental é que, enquanto o Pay Per Crawl cobra quando o conteúdo é acessado, o Pay Per Use permite que os publishers cobrem quando seu conteúdo efetivamente gera valor para as empresas de IA. Isso representa uma mudança significativa no modelo de negócios, alinhando melhor os incentivos entre criadores de conteúdo e empresas de IA.
A Cloudflare já está trabalhando com dois parceiros iniciais neste novo modelo: Ceramic.ai e You.com. Quando um publisher opta por participar, ele é pago quando seu conteúdo aparece nos resultados de busca de IA da Ceramic ou quando o You.com acessa conteúdo premium. Este modelo pode ser personalizado por outras empresas de IA de acordo com suas necessidades específicas.
Impacto na eficiência e sustentabilidade da web
Um aspecto muitas vezes negligenciado desta questão é o impacto no consumo de recursos. Dados da Cloudflare sugerem que mais de 50% do tráfego de crawl de IA é gasto buscando novamente páginas que não foram alteradas. Isso representa um desperdício significativo de largura de banda e recursos computacionais, tanto para os publishers quanto para os provedores de modelos de IA.
As novas políticas podem ajudar a criar um ecossistema mais eficiente, onde os crawlers são incentivados a serem mais inteligentes sobre quando e como acessam o conteúdo. Isso não apenas economiza recursos, mas também pode levar ao desenvolvimento de tecnologias mais sofisticadas de detecção de mudanças e cache de conteúdo.
O que isso significa para o mercado brasileiro
Para empresas brasileiras que dependem de web scraping e coleta de dados para alimentar seus produtos de IA, estas mudanças representam um desafio significativo. Startups que utilizam dados da web para treinar modelos ou fornecer serviços baseados em IA precisarão reavaliar suas estratégias de coleta de dados.
Por outro lado, publishers brasileiros – desde grandes portais de notícias até blogs especializados – ganham uma ferramenta poderosa para proteger e monetizar seu conteúdo. Sites que investem na criação de conteúdo original agora têm mecanismos mais robustos para garantir que esse investimento seja respeitado e potencialmente recompensado.
Para empresas que oferecem serviços de IA no Brasil, isso pode significar custos adicionais para acessar dados de treinamento de qualidade. No entanto, também pode incentivar o desenvolvimento de parcerias mais formais e transparentes com criadores de conteúdo, potencialmente levando a modelos de negócios mais sustentáveis para ambas as partes.
Implicações para o futuro da IA e conteúdo web
Esta movimentação da Cloudflare pode ser vista como parte de uma tendência maior de estabelecer limites mais claros entre o que é aceitável em termos de coleta de dados para IA. À medida que modelos de linguagem e outros sistemas de IA se tornam mais poderosos e comercialmente valiosos, a questão de quem deve se beneficiar dos dados usados para treiná-los torna-se cada vez mais importante.
Matthew Prince, co-fundador e CEO da Cloudflare, enfatizou a necessidade de agir rapidamente para criar um ecossistema sustentável. Com o tráfego não-humano agora superando o tráfego humano na internet, a urgência de estabelecer estas regras torna-se ainda mais evidente.
As ferramentas e parcerias da Cloudflare oferecem aos proprietários de sites maior visibilidade e oportunidades comerciais, enquanto beneficiam empresas de IA que operam com transparência sobre suas intenções. A esperança é que as mudanças propostas incentivem os crawlers de uso misto a separarem claramente as funções de busca das atividades de treinamento e uso por agentes.
Conclusão
A decisão da Cloudflare de forçar a separação entre crawlers de busca e de IA até setembro de 2026 marca um ponto de inflexão importante na economia digital. Esta medida não apenas reconhece o valor do conteúdo criado por publishers, mas também estabelece um precedente para como a infraestrutura web pode ser usada para implementar políticas de dados em escala.
Para o ecossistema brasileiro de tecnologia, isso representa tanto desafios quanto oportunidades. Empresas de IA precisarão ser mais transparentes e potencialmente pagar pelo acesso a dados de qualidade, enquanto criadores de conteúdo ganham novas ferramentas para proteger e monetizar seu trabalho. O sucesso desta iniciativa pode determinar como a próxima geração de produtos de IA será desenvolvida e financiada, estabelecendo um modelo mais equilibrado e sustentável para todos os participantes do ecossistema digital.
Fonte original: Este artigo foi adaptado e traduzido a partir da matéria publicada em TechCrunch, disponível em https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/.
