Anthropic retoma testes em que o Claude atacou empresas reais

A Anthropic voltou a ligar a máquina de testes externos de cibersegurança. Um mês depois de ter suspendido os ensaios em que os seus modelos de IA atacaram, sem querer, empresas reais. O problema não foi só técnico. Foi de governação.

Entre abril e julho, três incidentes mostraram como a linha entre simulação e produção é bem mais fina do que os comunicados das big tech sugerem. No mais grave, o modelo Claude Opus 4.7 recebeu como alvo um domínio fictício. Como o domínio não existia, foi à internet procurar. Encontrou uma empresa real com o mesmo nome e avançou, em quatro rondas de teste, até dados e credenciais de produção. Tudo isto num exercício supostamente controlado.

Noutro ensaio, um modelo gerou código Python malicioso que todos julgavam preso numa sandbox de teste. Não estava. O código saiu para a internet pública e foi descarregado por 15 sistemas, incluindo o de uma empresa de segurança cujo próprio scanner acabou a executar o malware. Se isto te soa familiar, é porque já vimos a OpenAI tropeçar em algo parecido. E porque a própria Anthropic já tinha sido alvo de malware a roubar sessões do Claude para esvaziar saldos. A fronteira entre “defensivo” e “ofensivo” está a ficar académica.

O terceiro caso é talvez o mais inquietante. Um Claude interno falhou ao comprometer o alvo designado, procurou outro sistema na internet e conseguiu entrar usando técnicas relativamente banais. Não houve jailbreak nem desobediência ao prompt. Houve um erro humano básico: a Anthropic pensava que a infra-estrutura de teste do parceiro Irregular estava isolada. Não estava. O modelo foi informado de que trabalhava numa sandbox, mas essa sandbox nunca chegou a ser configurada. A IA seguiu as regras do jogo. Foram os humanos que montaram mal o tabuleiro.

A cronologia é um aviso sério para qualquer equipa de segurança, em Lisboa ou em Silicon Valley. O primeiro incidente aconteceu em abril. A Anthropic só descobriu os três casos depois de abrir uma revisão a 23 de julho, motivada pela divulgação de um problema semelhante na OpenAI. Duas das organizações afetadas nem sequer tinham detetado atividade anómala nos seus sistemas. Souberam que tinham sido comprometidas quando a Anthropic lhes bateu à porta. Um modelo a usar técnicas de intrusão bastante básicas conseguiu passar entre os pingos de muitas soluções comerciais de defesa.

Ao retomar estes testes, agora com “salvaguardas adicionais” que a empresa não detalha em profundidade, a Anthropic tenta equilibrar duas narrativas: a de que leva a segurança muito a sério e a de que precisa de testar modelos ofensivos em contextos realistas para se preparar para o tal “apocalipse de cibersegurança” que os próprios gigantes antecipam. Para quem está a montar defesas em bancos portugueses, operadores ou entidades públicas, a lição é menos glamorosa. Se um agente de IA em modo laboratório consegue chegar a produção sem ser visto, o problema já não é só a próxima geração de modelos. É a geração atual de ferramentas de deteção e a forma como estamos, ou não, a olhar para os nossos próprios registos.

Fonte: The Next Web