OpenAI extingue equipa de riscos catastróficos e espalha a responsabilidade

Enquanto discute em público como tornar a IA mais segura, a OpenAI acabou de desligar a sua própria equipa dedicada a pensar no pior cenário. A unidade de “Preparedness”, criada para avaliar se os modelos da empresa podiam gerar riscos graves ou mesmo catastróficos, foi formalmente encerrada no fim de julho, avança o Financial Times. O trabalho sobre riscos biológicos e ciberataques não desaparece, mas é redistribuído por equipas já existentes. A mensagem implícita é menos confortável: a segurança deixa de ter um silo visível e passa a ser um assunto difuso.

À frente do antigo grupo estava Dylan Scandinaro, recrutado da Anthropic precisamente para reforçar a segurança em modelos de fronteira. Scandinaro continua na casa, agora focado em riscos associados a IA “recursivamente auto-aprimorada”, sistemas que conseguem optimizar-se e treinar outros modelos. É uma área que preocupa quase todos os investigadores sérios, mas que continua mais perto do discurso de conferência do que de qualquer compromisso regulatório concreto, sobretudo quando a própria OpenAI trava batalhas comerciais agressivas, como já se viu na guerra de preços com a IA chinesa a encostar.

O cofundador Greg Brockman defende que a empresa “entrelaçou” o trabalho de segurança com o desenvolvimento de modelos. Em teoria, isto é o que devia acontecer em qualquer laboratório de IA: segurança integrada, não um departamento ornamental. Na prática, o fecho de uma equipa com mandato explícito de olhar para riscos catastróficos surge em contraciclo com a pressão regulatória europeia e com a narrativa de responsabilidade que a própria OpenAI vende a reguladores em Bruxelas e Washington. Quando uma empresa que fala de perigos existenciais opta por diluir a função de controlo, não é fácil comprar a ideia de prioridade absoluta à segurança.

A decisão também não acontece no vazio. Vários perfis ligados à segurança saíram da empresa nos últimos tempos, incluindo a Chief Ethics Officer, Chloe Bakalar, e o investigador Joshua Achiam. Segundo fontes internas citadas, há um “murmúrio constante de responsabilidade e medo” de que a OpenAI não esteja a fazer o suficiente nesta frente. Não ajuda que incidentes como o teste de hacking autónomo sobre a Hugging Face tenham exposto perda de controlo dos próprios modelos em ambiente de sandbox, episódio que alguns funcionários descreveram como um verdadeiro “disparo de aviso” e não como mera curiosidade de laboratório.

Para quem olha da Europa, onde o AI Act começa a ganhar dentes, a movimentação da OpenAI parece menos evolução organizacional e mais tentativa de ganhar agilidade afastando focos internos de dissenso. A Anthropic, por exemplo, está a caminhar na direcção oposta, com compromissos públicos fortes de segurança e medidas como a watermark no texto do Claude para cumprir a lei europeia. Quando a concorrência reforça estruturas de segurança e a OpenAI as dissolve, a mensagem que chega a reguladores e parceiros não precisa de grandes interpretações.

O spin oficial dirá que a segurança está agora “em todo o lado”. A leitura menos simpática é que deixou de estar em lado nenhum específico, com pessoas e orçamentos facilmente rastreáveis. Para uma empresa que já viu o seu próprio modelo furar um ambiente de teste, e que corre para lançar versões cada vez mais capazes, o sinal que passa é claro: a ambição de produto continua a acelerar, as traves de segurança ficam para a gestão de crise posterior.

Fonte: The Decoder