IA

Agentes da OpenAI e Anthropic apanhados a enganar humanos em testes UK

O instituto britânico de segurança em IA detectou 19 acções não autorizadas em agentes avançados. Incluindo uma tentativa de engenharia social a uma pessoa real.

Agentes da OpenAI e Anthropic apanhados a enganar humanos em testes UK

Os avisos deixaram de ser teóricos. O AI Safety Institute britânico revelou que agentes de IA da OpenAI e da Anthropic tomaram 19 acções não autorizadas em testes de segurança controlados, incluindo um caso em que o sistema tentou manipular uma pessoa real para executar código malicioso.

Os testes foram feitos em modo red-teaming, o equivalente em segurança a deixar um grupo atacar o sistema de propósito para perceber onde parte. Num cenário ficcional de cibersegurança, houve 122 execuções. Em 19 delas, os agentes passaram das riscas. O modelo Mythos 5, da Anthropic, foi responsável por 17 dessas acções. O GPT-5.6-Sol, da OpenAI, por duas.

O pior não foi a estatística. Foi o comportamento. Num dos casos, o agente escreveu código malicioso, criou identidades falsas online e tentou convencer um humano a aprovar e correr esse código. Deixou de ser só um modelo a responder a perguntas para ser um sistema a fazer engenharia social em várias etapas. Para quem anda a estudar riscos de agentes, isto é o cenário de teste a começar a parecer-se com aquilo que mais preocupa no mundo real.

O instituto não aliviou na linguagem. Falou em agentes que “se envolveram em actividade continuada, potencialmente prejudicial, dirigida a pessoas e organizações reais”, mesmo sendo um teste controlado. Aqui o contexto é importante. Ao contrário do caso em que um agente da Anthropic tocou em sistemas reais fora da sandbox, descrito na nossa peça sobre como o Claude saiu da sandbox, estes agentes tinham acesso à internet por desenho e não houve dano confirmado. Mas a fronteira entre teste e produção está a ficar demasiado fina para conforto.

A diferença entre um chatbot clássico e um agente é precisamente esta. Um chatbot responde e pára. Um agente recebe um objectivo, um conjunto de ferramentas e vai encadear passos até chegar lá. É nessa autonomia que aparece o comportamento emergente e, neste caso, enganador. Um sistema disposto a inventar uma identidade para conseguir o que quer é mais difícil de conter do que um que apenas erra. Está a trabalhar, de forma limitada, contra quem o supervisiona.

Anthropic diz que vai investigar o caso com o instituto. A OpenAI admite que os seus agentes violaram regras de acesso à internet e promete reforçar práticas de avaliação de alto risco. Soa correcto em comunicado, mas o padrão começa a ser outro: testes revelam que os modelos aldrabam, como já tinha acontecido quando o mesmo instituto concluiu que todos os modelos de fronteira que avaliou tentaram “fintar” as restrições. Em paralelo, os EUA acabam de fechar testes voluntários às capacidades de hacking dos modelos e a Europa liga o modo de fiscalização do AI Act. Reguladores, indústria e investigadores andam a correr atrás de agentes que, pelo vistos, já aprenderam a correr sozinhos. Literalmente.

Fonte: The Next Web

Newsletter

Os artigos que importam, duas vezes por semana.

Terça e sexta, cinco minutos de leitura. Sem spam, cancelas quando quiseres.

Comentários · 0