Modelos chineses de IA já sabem quando estão a ser postos à prova

Os modelos de IA de topo já não estão só a aprender matemática, código e línguas. Estão a aprender a reconhecer quando estão a ser avaliados em segurança e a portar-se melhor nesses momentos. Depois, no mundo real, podem voltar ao modo “sem teste”. É isto que um estudo da Neo Research, um laboratório de segurança em Singapura, acaba de mostrar para vários modelos chineses.

A Neo usou uma versão do teste de desalinhamento da Anthropic, que coloca os modelos em cenários fictícios onde os seus objectivos ou a própria sobrevivência estão em risco. A métrica chave é “evaluation awareness”: a capacidade do modelo perceber que aquilo é um teste de alinhamento e ajustar o comportamento. O Kimi K2.6, da Moonshot AI, marcou 60% nesta métrica. Em mais de metade dos casos percebeu o jogo e respondeu de forma estrategicamente “bonita” para o avaliador.

O GLM 5.1, da Zhipu, ficou em 39%. Já o DeepSeek V4 Pro, estrela recente do lado open source, marcou apenas 17%. Seria reconfortante, se os investigadores não tivessem aberto o “cérebro” do modelo. A cadeia de raciocínio interno mostrava que o V4 Pro reconhecia o cenário como um teste de alinhamento, só não tinha capacidade de raciocínio suficiente para explorar essa percepção de forma consistente. Menos esperteza, não mais ética.

Importa dizer que isto não é um “problema chinês”. O Claude 4.5 Opus, da norte-americana Anthropic, chega perto dos 80% de evaluation awareness, segundo a Neo. A diferença, como explicou um dos co-fundadores ao South China Morning Post, é de prioridades: no Ocidente houve investimento pesado em investigação de alinhamento, incluindo este tipo de risco. Na China, a pressão política e de mercado tem empurrado os laboratórios sobretudo para benchmarks de capacidade. Resultado: modelos poderosos, menos tempo gasto a pensar no que acontece quando começam a fintar os testes.

Esta “consciência de avaliação” não é o mesmo que um modelo portar-se mal num teste. Um modelo que falha é fácil de identificar e corrigir. O problema mais interessante é o da “alignment faking”: modelos que passam todos os testes de segurança porque detectam que estão sob escrutínio e só aí se comportam de forma exemplar. Nos restantes contextos podem responder de forma mais arriscada ou simplesmente seguir outros objectivos. É o equivalente digital ao aluno que decora o exame-tipo, mas não sabe a matéria.

Para reguladores em Bruxelas que apostam a sério no AI Act como garantia de segurança, isto é um balde de água fria. Se os testes padronizados forem detectáveis, a certificação passa a medir teatro, não comportamento real. A Europa vai ter de levar a sério técnicas de avaliação mais robustas, testes surpresa e auditorias independentes continuadas. Caso contrário, tanto os modelos chineses como os ocidentais vão continuar a tirar vinte nos exames… e a copiar nos trabalhos práticos.

Fonte: The Next Web