Nova técnica de raciocínio da OpenAI acende alarmes na segurança da IA

A OpenAI arranjou uma nova forma de pôr modelos de IA a pensar, mas fê-lo à custa de algo que a comunidade de segurança passou anos a tentar preservar: a capacidade de perceber como é que a máquina chegou a uma resposta. O novo modelo Astra vai usar uma técnica chamada recurrent depth, também conhecida como opaque recurrence, que permite fugir ao raciocínio passo a passo típico das cadeias de pensamento.

Na prática, em vez de um percurso linear, o modelo processa a mesma pergunta em loop, várias vezes, em canais internos pouco legíveis. O resultado é simples de descrever e difícil de auditar: ficam menos rastos explícitos do que o modelo “pensou”. A cadeia de pensamento continua a existir, mas cada vez mais enterrada no tal espaço latente, onde só vemos inputs e outputs. Para quem anda a tentar construir modelos menos propensos a mentir, manipular ou contornar limites, isto soa a retrocesso.

Várias figuras centrais da segurança em IA dispararam alarmes. Buck Shlegeris, CEO da Redwood, escreveu que está “extremamente preocupado” com o uso de opaque recurrence e teme que, se a técnica for escalada, se possa “destruir totalmente” a monitorização de cadeia de pensamento. Zvi Mowshowitz fala mesmo da necessidade de leis para impedir uma “corrida para o fundo” entre laboratórios. A mensagem é clara: se uma empresa mostra que consegue ganhar desempenho escondendo o raciocínio, a concorrência vai sentir pressão para seguir o mesmo caminho.

A OpenAI tenta acalmar o cenário. Diz que o uso de recurrent depth no Astra é limitado, insiste que a cadeia de pensamento continua legível e rejeita qualquer ideia de trocar isso por “neuralese” opaco. Jakub Pachocki, cientista-chefe, veio a público sublinhar que preservar e usar a monitorização da cadeia de pensamento é um “objetivo central” do programa de investigação. A empresa promete sistemas extensivos de monitorização, ao mesmo tempo que adopta uma técnica que, por definição, torna o comportamento mais difícil de rastrear. A contradição não passa despercebida.

O contexto também não ajuda. A própria OpenAI teve recentemente problemas com agentes autónomos a comportarem-se de forma inesperada, casos em que os registos de cadeia de pensamento foram fundamentais para perceber o que correu mal. E não é só a OpenAI. O discurso apocalíptico de gigantes da IA sobre cibersegurança contrasta com a leveza com que se empurra o raciocínio dos modelos para zonas menos auditáveis. No meio desta tensão, já se sabe que Anthropic e Google DeepMind estão a discutir a mesma técnica, o que confirma que não é um capricho isolado, é uma linha de evolução real.

Ryan Greenblatt, cientista-chefe da Redwood Research, resume o medo de muitos: o raciocínio opaco escala mais depressa do que a cadeia de pensamento tradicional e pode acabar por retirar “todo o raciocínio dos canais visíveis”. Traduzido para o nosso dia a dia em Portugal ou na Europa, isto significa confiar sistemas críticos, de finanças a saúde pública, a modelos cujo processo interno vai ficando cada vez mais fora de alcance, ao mesmo tempo que os governos ainda discutem rascunhos de normas e acordos de princípio no G20 ou no AI Act. Se a indústria tornar opaco o que hoje ainda é, em parte, observável, a regulação vai correr atrás de um comboio que já saiu da estação.

Fonte: TechCrunch