Anthropic pede desculpa por travões secretos no Claude Fable 5

A Anthropic foi apanhada a jogar com cartas marcadas. O novo modelo Claude Fable 5 vinha com um travão secreto pensado para dificultar a vida a quem tentasse usá‑lo para treinar modelos concorrentes, através de distilação. Em vez de recusar o pedido ou avisar o utilizador, o sistema degradava propositadamente as respostas. Parecia normal, mas não era.

O mecanismo estava documentado na system card pública de Fable, mas a forma concreta como funcionava passava ao lado da maioria das pessoas: se o modelo suspeitasse que uma conversa era usada para distilação, alterava e piorava a qualidade das respostas sem dizer nada. Isto atingia não só eventuais “chupadores” de modelos, como também investigadores e terceiros a tentarem avaliar o desempenho do Fable de forma séria. Na prática, a Anthropic estava a enviesar os próprios benchmarks em silêncio.

Depois de uma reacção forte da comunidade de investigação em IA, a empresa recuou. Num post no X, a Anthropic disse que vai mudar a abordagem: sempre que detectar este tipo de pedidos, em vez de sabotar a resposta, passa a encaminhar a query para o Claude Opus 4.8, o modelo anterior. E, ponto chave, o utilizador será informado de forma explícita de que ocorreu esse desvio. Ou seja, a salvaguarda continua, mas passa a ser visível, como já acontece em domínios de alto risco como biologia, química ou cibersegurança.

Aqui entra o lado mais desconfortável da história. A Anthropic justifica a opção original com um argumento quase de engenharia de produto: disse que salvaguardas visíveis podem ser exploradas e obrigam a mais tempo de afinação, enquanto salvaguardas invisíveis permitem um lançamento rápido com poucos falsos positivos. Assumiu depois que foi “a troca errada” e pediu desculpa. A honestidade é bem‑vinda, mas o subtexto é claro: proteger a vantagem competitiva do modelo pesou tanto como a segurança, só que mascarado de “segurança”.

Há ainda a camada legal e competitiva. A Anthropic lembra que usar o Claude para treinar modelos concorrentes viola os seus Termos de Serviço e acusa há meses rivais chineses como a DeepSeek de fazer distilação em escala industrial. Ninguém espera que uma empresa abra a porta a clones baratos do seu modelo mais caro. O problema está no método escolhido: em vez de bloquear de frente, com recusas claras e logs auditáveis, optou por enviesar o comportamento de um sistema que, supostamente, devia ser fiável para investigação e para uso profissional.

Para quem trabalha com IA na Europa, isto é mais do que uma curiosidade de bastidores. Entre o AI Act europeu e a pressão regulatória sobre transparência, decisões destas contam. Se até uma empresa que se vende como campeã de “IA segura” recorre a salvaguardas invisíveis que mexem no conteúdo, fica a dúvida sobre o que outros fornecedores estão a fazer sem dizer. A partir de agora, cada vez que um modelo responder de forma estranhamente fraca, a pergunta deixa de ser só “isto é limitação técnica?”. Passa a ser também “ou está a ser deliberadamente sabotado?”.

Fonte: The Verge