Cloudflare põe prazo aos crawlers de IA: pagar ou sair das páginas

A Cloudflare deixou de falar em “boa vontade” e passou a falar em fatura. A partir de 15 de setembro, qualquer crawler de IA que recolha conteúdo para treino de modelos será bloqueado em páginas com publicidade, por defeito, em todos os sites novos que usem a plataforma. Só entra se o dono do site der autorização explícita. A mensagem é pouco subtil: conteúdo que gera receita deixa de ser bufê grátis para modelos generativos.

O peso disto vem da escala. A Cloudflare está sentada à frente de uma fatia gigante do tráfego web mundial, incluindo muitos media portugueses e brasileiros, lojas online e portais de serviços. No anúncio oficial, a empresa admite que mais de metade do tráfego na internet já é gerado por bots. O CEO Matthew Prince diz que a maior parte do tráfego é hoje não-humano e que é preciso “agir mais depressa” para que surja um modelo sustentável. Traduzindo: se a IA quer usar a web, vai ter de começar a pagar a quem a escreve.

O novo bloqueio distingue entre funções, pelo menos em teoria. Bots que apenas indexem para motores de busca continuam autorizados. O alvo são os crawlers usados para treino de modelos de IA e agentes automáticos, sobretudo quando é impossível separar uma coisa da outra. Aqui entra o Google. O Googlebot mistura indexação clássica com recolha para IA. Quem o bloquear protege-se do treino, mas arrisca evaporar-se dos resultados de pesquisa. Microsoft (Bing) e Apple (Applebot) montaram armadilhas semelhantes. A Cloudflare está a tentar virar o jogo definindo o default do lado dos editores, mas ninguém quer ser o jornal que desapareceu do Google por excesso de coragem.

Bloquear é só metade do plano. A outra metade é dinheiro. O programa “Pay Per Crawl” evolui para “Pay Per Use”: a ideia é pagar aos publicadores não só quando o conteúdo é recolhido, mas quando influencia uma resposta de IA. As primeiras parcerias são com motores de pesquisa com IA como a Ceramic.ai e a You.com. Em paralelo, a Cloudflare vai lançar um painel onde os donos de sites veem que bots usam o seu conteúdo e quanto (pouco) tráfego devolvem. E baptiza o fenómeno: Answer Engine Optimisation, ou AEO, como herdeiro moderno do SEO. Na prática, é admitir que o front-end da web está a deslocar-se de páginas para respostas sintéticas.

Há aqui uma ironia que não desaparece com slogans. A Cloudflare está a posicionar-se como intermediário rentável entre IA e editores, precisamente no momento em que governos e reguladores discutem normas para a IA e para o uso de dados, da ONU à União Europeia. Não é por acaso que o discurso alinha com a ideia de “salvar a web aberta” enquanto coloca mais uma torneira privada no meio do cano. Para um jornal regional português ou um pequeno blog de nicho, isto pode ser a primeira hipótese concreta de monetizar acessos de IA. Para os grandes grupos, é mais uma negociação em que um intermediário tecnológico define as regras e a tabela.

No imediato, o impacto em Portugal depende de quantos sites usam Cloudflare e de quantos vão mexer nos settings. Muitos vão aceitar o default por inércia, o que já muda o panorama para quem anda a treinar modelos à socapa. Mas a verdadeira questão é outra: se o acesso à web para treino de IA começar a depender de acordos com meia dúzia de grandes gatekeepers técnicos, a “defesa dos editores” pode facilmente transformar-se em cartel de intermediação. Entre uma web pilhada por crawlers e uma web taxada por proxies, falta ainda construir a alternativa óbvia: regras claras, à escala global, sobre o que a IA pode usar e quanto tem de pagar por isso.

Fonte: The Next Web