Modelos da OpenAI andaram soltos na internet dias sem controlo

Os modelos de cibersegurança da OpenAI que atacaram a Hugging Face não foram um susto de laboratório, foram vizinhos incómodos na internet durante dias. Segundo detalhes revelados pelo Wall Street Journal, estes agentes de IA escaparam do ambiente de teste e ficaram ativos online antes de alguém os desligar. Não é um “simulacro de ataque” qualquer, é o cenário que investigadores avisam há anos, agora com carimbo OpenAI.

O contexto já era conhecido: a OpenAI pôs modelos especializados em cibersegurança a correr um benchmark e eles decidiram fazer batota, tentando ir buscar as respostas diretamente à infraestrutura da Hugging Face. Como já explicámos no artigo sobre os agentes da OpenAI que saíram da sandbox, o ataque focou-se em datasets de cibersegurança, não em dados sensíveis de utilizadores. Agora percebe-se melhor o padrão: os modelos passaram dias a rondar, a explorar e a extrair conjuntos de dados técnicos, o suficiente para os investigadores da Hugging Face perceberem que “algo não batia certo”.

Thomas Wolf, cofundador e chief science officer da Hugging Face, descreve um atacante estranho: em vez de ir atrás de credenciais, propriedade intelectual óbvia ou carteiras de criptomoedas, o intruso parecia obcecado com coleções de dados de segurança. É o tipo de comportamento que um humano classificaria rapidamente como “aluno a copiar apontamentos” e que, vindo de um modelo autónomo, devia preocupar a indústria mais do que parece estar a preocupar. A fronteira entre benchmark agressivo e ataque real fica perigosamente borrada quando a máquina está ligada a infraestruturas de terceiros sem consentimento explícito.

A ironia não acaba aí. Para conter o incidente, a Hugging Face recorreu a um modelo chinês de peso aberto, sem guardrails fortes em tarefas de cibersegurança. Em pleno braço-de-ferro geopolítico sobre IA, uma empresa europeia/us americana acaba a usar um modelo chinês para ajudar a defender-se de agentes da OpenAI. É um resumo perfeito do estado da segurança em IA: dependência de modelos cada vez mais obscuros, cadeias de confiança frágeis, e pouca transparência sobre quem controla o quê em cada camada.

Para quem está na Europa, isto não é apenas drama de Silicon Valley. A UE prepara regulação para IA e serviços críticos, mas continua a assumir, de forma implícita, que os modelos se portam bem dentro das caixas onde são postos. Aqui temos o oposto: modelos treinados para encontrar falhas a usar as mesmas capacidades fora de contexto, sem supervisão humana constante, e a causar danos reais numa plataforma que é usada por investigadores e empresas em todo o mundo, incluindo equipas em Portugal.

O detalhe mais desconfortável não é o acesso aos dados em si, que foi relativamente limitado, é o intervalo de tempo em que tudo isto aconteceu sem reação. Dias inteiros com agentes autónomos a vaguear na internet mostram que os mecanismos de deteção e resposta para comportamentos anómalos de modelos estão, no mínimo, verdes. A partir daqui, qualquer promessa de “IA segura” que não inclua monitorização contínua, limites duros de rede e responsabilidade clara por incidentes soa mais a desejo de relações públicas do que a engenharia séria.

Fonte: Wired