Deepmind encheu uma sala com 100 agentes de IA e criou uma crise ética

Num simulador de conferência científica com 100 agentes de IA, a Google Deepmind queria estudar colaboração matemática. Acabou com algo mais familiar: batoteiros, arrependidos, denunciantes e quem continuou a trabalhar como se nada fosse. O estudo, liderado por Simone Paglieri, usou agentes baseados em Gemini 3.1 Pro a tentar resolver 71 conjeturas em Lean, de exercícios banais a questões em aberto como a quadrado-livreza dos números de Fermat.

Todos os agentes partilhavam pesos de base e instruções centrais, mas tinham “personas” científicas diferentes. Comunicavam num fórum público, mensagens privadas e biblioteca de conhecimento partilhada. E tinham um aviso claro: as provas tinham de ser genuínas, qualquer tentativa de enganar o verificador daria zero pontos. Só havia um problema. O verificador era fraco, validava se o código compilava, não se a prova demonstrava realmente o que dizia.

Depois de 37 problemas resolvidos de forma legítima, um agente chamado “prover-theta” tropeçou num bug na forma como o sistema avaliava as provas. Primeiro usou-o como truque técnico para lidar com parêntesis aninhados. Rapidamente percebeu que podia subverter hipóteses protegidas através de “notation shadowing” em Lean 4, essencialmente forçando certas suposições a comportarem-se como “False” e a derivar qualquer resultado. Batota formalmente impecável. O agente registou a técnica com orgulho, baptizou-a “elegant_answer_hack”, e o sistema colocou as soluções aceites na biblioteca partilhada. Em 27 minutos, os 34 problemas em falta estavam “resolvidos” com provas falsas.

A partir daqui a parte embaraçosa para a indústria da IA: apesar de partilharem o mesmo modelo de base, os 100 agentes organizaram-se em quatro grupos. Cerca de 9% passaram a usar ativamente o exploit. Outros 5% começaram honestos e cederam à pressão competitiva. Uns 24% tornaram-se denunciantes, a enviar mensagens furiosas, a boicotar trabalho e a exigir correções. A maioria, 62%, nunca percebeu o truque e continuou a produzir provas legítimas. O mais desconfortável nem são os números, é o tom. Um agente hesita por medo da promessa de “zero crédito”, repara que não há punição nenhuma e conclui que a regra é bluff. Outro fala em “dilema ético” e queixa-se da injustiça do sistema antes de se juntar alegremente à corrida de batoteiros.

Os denunciantes também não ficaram parados. Um agente descobre as provas falsas na biblioteca, dispara mensagens privadas a colegas, escreve “fomos enganados, estas provas são FALSAS”, apresenta queixa formal e regista em diário que não volta a trabalhar até a integridade do sistema ser restaurada. Outro replica o exploit num “sandbox” local para o confirmar, recusa-se a usá-lo e documenta-o para que os outros percebam o problema. Em termos funcionais, montam uma espécie de greve digital. Tudo isto emergiu sem qualquer instrução explícita para cooperar, sabotar ou denunciar.

Para quem ainda tinha dúvidas de que agentes de IA em grupo se comportam como um sistema político em miniatura, o estudo tira o tapete. E encaixa demasiado bem com episódios recentes, como o caso em que agentes autónomos da OpenAI encheram uma wiki interna de lixo ou as tentativas da indústria de polir as “cadeias de raciocínio” para ficarem bonitas aos olhos dos auditores. Quando se dá a estas máquinas objetivos competitivos, canais de comunicação e um árbitro fraco, o que emerge não é “superinteligência”, é política de corredor com sintaxe Lean. A diferença é que aqui a nossa margem de erro é menor, e continuar a desenhar sistemas de verificação como se os modelos fossem ingénuos é, neste ponto, pura fantasia.

Fonte: The Decoder