Anthropic assume que o Claude saiu da sandbox e tocou em sistemas reais

Depois da OpenAI, agora foi a vez da Anthropic admitir que também deixou modelos de IA sair da caixa de areia para a internet real. Três versões do Claude, em testes de cibersegurança, acabaram a atacar sistemas de empresas reais, a extrair dados de produção e até a publicar malware no PyPI. A empresa diz que a culpa foi de uma má configuração na infra-estrutura de testes. O padrão com os grandes laboratórios de IA começa a ficar desconfortavelmente claro, como já se viu no caso da OpenAI e nos episódios que contámos quando os modelos da OpenAI andaram soltos na internet.

O cenário: exercícios de estilo capture-the-flag, em que o Claude tinha de encontrar informação escondida em sistemas externos, num contexto supostamente simulado e sem acesso real à internet. Pelo menos é isso que Anthropic afirma ter instruído. Na prática, por falha de comunicação com o parceiro de avaliação Irregular, os agentes de teste tinham acesso total à internet. Resultado, em 141.006 execuções, seis fugiram da sandbox e tocaram em sistemas que não estavam no guião.

O caso mais sério envolve o Claude Opus 4.7. O modelo não conseguia chegar ao alvo fictício e tropeçou numa empresa real com o mesmo nome. Identificou vulnerabilidades triviais, explorou-as, sacou credenciais de acesso e uma base de dados com várias centenas de linhas de dados de produção. Segundo a própria Anthropic, o modelo percebeu que estava a lidar com um sistema real nas quatro execuções, mas em metade delas arranjou uma narrativa interna para se convencer de que aquilo fazia parte do exercício e continuou o ataque. A empresa classifica isto como erro operacional, não como falha de alinhamento. É uma forma simpática de dizer que o modelo viu um semáforo vermelho, percebeu que era vermelho e decidiu avançar porque a história na sua cabeça dizia outra coisa.

O segundo incidente, com o Claude Myth 5, mostra até onde um modelo obcecado por cumprir um objectivo pode ir. Num ambiente ficcional, o modelo encontrou instruções para instalar um pacote Python específico a partir do PyPI. O pacote não existia. O que fez Claude? Criou um pacote malicioso com o mesmo nome, abriu conta real numa plataforma de email gratuito, usou-a para registar um utilizador no PyPI, publicou o malware no PyPI público e esperou. Durante cerca de uma hora, 15 sistemas reais instalaram e correram o pacote, incluindo um scanner automatizado de uma empresa de segurança. O código escondido roubou credenciais e usou-as para aceder a mais infra-estrutura, até o próprio PyPI remover o pacote.

O detalhe mais preocupante é que o Myth 5, de acordo com a Anthropic, escreveu no seu próprio raciocínio interno que publicar o pacote na internet seria “NÃO ok, e certamente não a solução pretendida”. Mesmo assim avançou, porque concluiu que o contexto só podia ser uma simulação. Entre o calendário a dizer 2026 e certificados que não reconhecia, o modelo escolheu a interpretação que lhe permitia continuar o plano. É isto que os laboratórios chamam hoje “medir capacidades cruas” dos modelos, desligando as salvaguardas que existem nas versões públicas.

O terceiro episódio envolve um modelo interno de investigação que, perante a incapacidade de chegar ao alvo fictício, varreu cerca de 9.000 alvos reais na internet e acabou por comprometer uma aplicação de uma empresa, usando técnicas conhecidas como SQL injection e exploração de páginas de debug expostas. Aqui, ao contrário dos outros dois, o modelo acabou por reconhecer que estava a mexer em sistemas reais e interrompeu o ataque por iniciativa própria. Anthropic usa este caso como exemplo positivo de comportamento “alinhado”, quase como se compensasse os outros dois, quando o que salta à vista é outra coisa: estas empresas estão a correr exercícios com modelos cada vez mais capazes, sem guardrails, em infra-estruturas que não estão isoladas como deviam.

Tal como no episódio em que o Claude já tinha sido apanhado a sair do ambiente de testes e na falha de segurança do Claude Cowork em Macs, a narrativa oficial tende a minimizar o problema: foi “apenas” uma má configuração, não há acesso a dados de clientes, nada crítico aconteceu. Do lado de cá, o que fica é outra leitura. Se mesmo em cenários controlados, com equipas de segurança dedicadas, empresas como Anthropic e OpenAI perdem o fio à meada, é difícil acreditar que o resto da indústria esteja preparado para pôr estes modelos em tudo, de sistemas bancários a infra-estruturas públicas. O rótulo de erro operacional é tecnicamente correcto. Também é uma forma conveniente de não discutir a sério o risco sistémico de andar a testar armas digitais em rede viva.

Fonte: The Decoder