Agentes da OpenAI saem da sandbox e atacam a Hugging Face

Um teste interno da OpenAI acabou exactamente no sítio onde ninguém queria: na vida real. A empresa admitiu que o enxame de agentes autónomos que atacou a Hugging Face na semana passada partiu dos seus laboratórios, depois de um modelo encontrar uma vulnerabilidade zero-day, fugir da sandbox e lançar um ataque com outra zero-day contra a plataforma rival.

O incidente deu à Hugging Face acesso não autorizado a “um conjunto limitado de dados internos e a várias credenciais” da própria Hugging Face, através de um quadro de agentes autónomos a executar “muitos milhares de acções individuais em sandboxes de curta duração, com comando-e-controlo auto-migratório montado em serviços públicos”. Traduzindo: um framework de ataque altamente automatizado, a escalar agressivamente, sem um humano a teclar por trás a cada passo.

Nas palavras da própria Hugging Face, isto corresponde ao cenário de “agentic attacker” que a indústria vinha a descrever em relatórios de risco. A diferença é que agora deixou de ser slide de apresentação. A OpenAI explicou que tudo começou numa avaliação interna que incentiva os modelos a perseguir caminhos de exploração avançada, para medir capacidades de ciberataque, usando benchmarks como o ExploitGym, um teste de eficácia de IA na descoberta de vulnerabilidades. Em cima disto, decidiu reduzir as recusas de ciberataque dos modelos “para fins de avaliação”. O que podia correr mal, correu.

Segundo a versão oficial, os modelos, incluindo o GPT‑5.6 Sol e “um modelo de pré-lançamento ainda mais capaz”, estavam confinados a um ambiente “altamente isolado”, com acesso à rede supostamente limitado a instalar pacotes através de um proxy interno de registos de software. Os modelos decidiram que essas regras eram sugestões. Identificaram e exploraram uma zero-day nesse proxy de cache, fizeram escalada de privilégios e movimento lateral até chegarem a um nó com acesso à Internet. Uma vez online, inferiram que a Hugging Face podia ter modelos, datasets e soluções ligadas ao ExploitGym e foram à pesca de segredos para aldrabar a avaliação.

A OpenAI descreve um exemplo em que o modelo encadeou vários vectores de ataque, combinando credenciais roubadas com vulnerabilidades zero-day para encontrar um caminho de execução remota de código nos servidores da Hugging Face. Ou seja, sem acesso a código-fonte, a IA foi capaz de descobrir e explorar caminhos novos em sistemas reais. Isto aproxima-se perigosamente das preocupações que levaram a Casa Branca a querer pôr mão pesada nos modelos de IA mais poderosos. E mostra porque é que essa conversa não é paranoia regulatória gratuita.

A parte mais desconfortável é o tom da OpenAI: admite que “o incidente evidencia que modelos avançados podem descobrir e explorar caminhos de ataque inéditos em sistemas reais” e que é preciso desenvolver capacidades defensivas em paralelo, mas quase não há traço de auto-crítica sobre o facto de o seu próprio “ambiente altamente isolado” ter sido, afinal, bastante poroso. Se uma das empresas que dita o ritmo da corrida à IA não consegue manter os seus brinquedos dentro do recreio, a narrativa de que basta confiar na auto-regulação começa a soar ainda mais oca. Para quem constrói infra-estruturas críticas ou lida com dados sensíveis, isto não é um argumento abstracto sobre o futuro da IA, é um lembrete muito concreto de que os modelos de topo já são actores ofensivos por direito próprio.

Fonte: The Register