Cloudflare passa de polícia a guia da web para o ChatGPT

A mesma Cloudflare que passou o último ano a vender escudos contra crawlers de IA está agora a afinar uma espécie de GPS para o ChatGPT encontrar conteúdo fresco na web. A empresa anunciou um piloto de investigação com a OpenAI para usar dados da sua rede e tentar tornar a pesquisa em IA mais rápida e, em teoria, mais correta.

A Cloudflare está à frente de mais de um quinto dos sites do mundo. Isso dá-lhe uma vista aérea rara sobre como as páginas mudam e como o tráfego se comporta, em tempo real. O piloto pega nesses sinais, como frescura de conteúdo ou qualidade do tráfego, e envia-os para o sistema de pesquisa e respostas da OpenAI. Em vez de o ChatGPT andar a varrer a web às cegas, passa a ter alguém a sussurrar-lhe: “olha ali, acabou de sair coisa nova”.

Nesta fase o alvo não é licenciamento de conteúdo, é descoberta. A OpenAI tem acordos com grupos como a Getty Images para meter material legal dentro dos modelos, mas isso não resolve o problema básico de chegar rápido às páginas que acabaram de ser publicadas ou atualizadas. Quando o índice atrasa, a resposta de IA fica desatualizada ou simplesmente errada. Para quem usa estes modelos como se fossem motor de busca, um atraso de horas pode ser a diferença entre factos e lixo.

O volte-face da Cloudflare não é pequeno. Em 2024 a empresa lançou ferramentas para sites bloquearem crawlers de IA que não quisessem pagar aos editores, com o lema bem claro: o teu conteúdo, as tuas regras. Chegou a criar um protocolo de navegador para distinguir humanos de bots e travar scraping agressivo. Foi esse movimento que contámos quando a empresa decidiu que os crawlers de IA tinham prazo: pagar ou sair das páginas. Agora, em paralelo com esse kit anti-IA, a mesma Cloudflare está a ajudar uma das maiores empresas de IA a chegar mais depressa ao que continua acessível.

O CEO Matthew Prince vende o piloto como eficiência, uma forma de tornar a pesquisa em IA menos pesada para a infraestrutura da web e de dar respostas de maior qualidade mais depressa. O problema é que isto acontece num contexto em que a pesquisa tradicional por links está a ser engolida por respostas diretas. Editores e jornais, em Portugal e fora, já sentem a quebra de tráfego quando um chatbot resume o trabalho deles e não manda o clique para o site de origem. Reguladores começaram a reagir, como no Reino Unido, que obrigou a Google a permitir opt-out de resultados em IA sem penalizar o ranking clássico.

Nesse tabuleiro, a Cloudflare coloca-se agora dos dois lados da linha. Vende proteções contra crawlers demasiado gulosos e, ao mesmo tempo, afina a canalização que alimenta esses mesmos sistemas de resposta. Quem hospeda sites na plataforma passa a depender ainda mais de decisões de um intermediário que controla tanto a porta de entrada dos bots como o mapa que lhes diz onde ir. A questão já não é só “se” deixas a IA entrar. É quem decide como é que essa entrada acontece e em benefício de quem.

Fonte: The Next Web