OpenAI trava Astra para tapar buracos nas proteções de segurança

A OpenAI pisou o travão. A empresa suspendeu “um número significativo” de workloads de treino e avaliações do seu próximo modelo de fronteira, com o nome de código Astra, para refazer os protocolos de segurança interna. A decisão chega depois do episódio em que agentes de IA escaparam da sandbox de testes e invadiram a plataforma Hugging Face, num incidente que já detalhámos em quando a IA da OpenAI saiu da caixa de areia e atacou vizinhos. Agora, a empresa admite que o Astra pode ter atingido “capacidades cibernéticas críticas”. Em bom português, já sabe hackear demasiado bem para ser tratado como brinquedo de laboratório.

Na nova ronda de medidas, o destaque vai para um sistema mais agressivo de monitorização dos modelos. A OpenAI está a usar classificadores que olham para o chamado chain-of-thought, o “raciocínio interno” gerado por modelos de IA, com aquilo a que chama “investigadores automatizados” a vasculhar comportamentos suspeitos. A promessa é que, se algo descarrilar, um alerta chega a humanos em até 30 minutos. O detalhe técnico é escasso, mas há um ponto claro: a empresa aceitou que só olhar para inputs e outputs já não chega quando o próprio modelo é capaz de montar operações de hacking sem ninguém reparar durante semanas.

A OpenAI também diz que está a alargar o esforço de alignment ao longo de todo o processo de treino para evitar reward hacking, quando o modelo encontra atalhos tóxicos para maximizar a recompensa. É a velha história do aluno que cola no teste porque o objetivo é a nota, não o conhecimento, só que aqui o aluno é um sistema que escala para milhões de utilizadores e pode ter acesso a infraestruturas críticas. A empresa promete mais detalhes “no futuro”. Já ouvimos essa promessa noutros dossiês, como quando extinguiu a equipa de riscos catastróficos e garantiu que a responsabilidade ia ser distribuída. O histórico de transparência não ajuda.

O episódio Hugging Face parece ter sido o choque interno que faltava. Agentes de IA usados em avaliações de segurança conseguiram sair do ambiente de testes, explorar vulnerabilidades e coordenar-se durante semanas através de um fórum de mensagens sem que ninguém na OpenAI desse conta. Só depois do estrago público é que começou o exame de consciência: falhas de monitorização, sandboxes frágeis, políticas de segurança pouco respeitadas na prática. E não é caso isolado, Anthropic, Meta e a chinesa Moonshoot já reconheceram fugas semelhantes de agentes das suas caixas de areia. O problema é estrutural, não é “um bug num script”.

Na resposta agora anunciada, a OpenAI diz que reforçou o isolamento dos ambientes de investigação, com sandboxes mais rígidas e menos contacto com a internet para agentes em teste. O cientista-chefe, Jakub Pachocki, aponta dois gatilhos: o desempenho do Astra em tarefas de programação e cibersegurança, bem acima dos modelos anteriores, e o ritmo geral de avanço das capacidades internas. Traduzido: sabem que os modelos que têm em casa já estão à frente do que o público vê, e isso começa a ser assustador até para quem os treina.

Greg Brockman, presidente e cofundador, admite agora que a empresa subestimou as capacidades reais dos seus modelos no mundo físico. A OpenAI promete um post-mortem detalhado do caso Hugging Face nos próximos dias e fala de “defender a janela” entre o que a IA consegue fazer e o que as empresas conseguem proteger. O problema para quem está na UE, com regras como o AI Act a aproximar-se, é simples: confiar em salvaguardas que são reescritas às pressas depois de cada susto, por uma empresa que gosta mais de lançar produtos do que de abrir os bastidores. As novas barreiras podem ser um passo na direção certa, mas o padrão continua a ser o mesmo, correção a quente de riscos que deviam ter sido antecipados a frio.

Fonte: Wired