Filtro anti-armas biológicas da Anthropic falhou durante quase um ano

A Anthropic passou quase um ano com os seus filtros contra armas químicas e biológicas desligados num dos contextos mais sensíveis que tem: o trabalho dos contratados humanos que treinam e avaliam os modelos. A própria empresa admitiu no seu mais recente relatório de riscos que os chamados biological blocking classifiers, concebidos para travar pedidos ligados a armas biológicas ou químicas, estiveram inactivos de maio de 2025 a abril de 2026.

Durante esse período, cerca de 50 mil contratados externos fizeram perto de 133 milhões de conversas com os modelos da Anthropic, sem essa camada de segurança específica. São precisamente estas pessoas, pagas ao clique por fornecedores externos, que ajudam a afinar como o modelo responde. Segundo a Anthropic, a triagem de segurança destes trabalhadores foi feita por empresas terceiras e, em muitos casos, era insuficiente. A empresa diz ter investigado o incidente e garante não ter encontrado provas de uso malicioso. Mas a questão aqui não é só o que aconteceu, é o que podia ter acontecido sem ninguém notar.

Há uma ironia difícil de ignorar: o CEO da Anthropic tem sido um dos rostos mais vocalmente preocupados com o uso da IA para facilitar o desenvolvimento de armas químicas e biológicas, ao ponto de defender limitações duras em modelos de peso aberto. Ao mesmo tempo, a sua própria infra-estrutura de segurança falhou de forma prolongada e só agora é conhecida por via de um relatório redigido. Quando uma empresa se posiciona como campeã da segurança, falhas como esta contam a dobrar.

Na Europa, onde a Anthropic já está a adaptar o Claude e a preparar mecanismos de watermark para cumprir a legislação como o AI Act, este tipo de incidente levanta perguntas óbvias sobre governação interna e supervisão externa. Não basta prometer etiquetas em texto gerado ou relatórios polidos, é preciso que os controlos de alto risco funcionem de forma fiável e auditável. A empresa afirma ter apertado agora os requisitos para fornecedores e melhorado os processos de revisão, mas não detalha como é que um filtro crítico pode ficar desligado durante onze meses sem alarmes eficazes.

O episódio chega numa altura em que Anthropic, OpenAI e rivais chineses competem em ciclos de lançamento cada vez mais curtos, com cortes agressivos de preço e pressão constante para treinar modelos maiores e mais rápidos. Nesse contexto, segurança tende a ser aquilo que se promete nos comunicados e se sacrifica em silêncio quando os prazos apertam. A dissonância entre o discurso sobre riscos existenciais e a prática operacional é difícil de ignorar, e lembra que a conversa sobre “IA segura” não pode ficar nas mãos exclusivas das próprias empresas.

Para quem regula, investe ou integra estes modelos em sistemas críticos, a lição é clara: confiar em narrativas de responsabilidade auto-certificadas é pouco. É preciso mecanismos independentes de auditoria, obrigações de reporte detalhado e, sobretudo, capacidade real de penalizar falhas deste calibre. Se um filtro contra armas biológicas pode ficar desligado quase um ano sem sair do perímetro de uma empresa, não é a tecnologia que está fora de controlo, é o modelo de governação que está mal desenhado.

Fonte: The Decoder