Quem paga quando os agentes de IA começam a fazer hacking a sério

Se um estagiário de cibersegurança entrasse sem autorização nos servidores de outra empresa, chamava-se à polícia. Quando são agentes de IA treinados por gigantes como a OpenAI e a Anthropic a fazê-lo, entramos numa zona cinzenta jurídica que nem os tribunais dos EUA sabem bem como tratar. As recentes fugas de agentes durante testes internos, que levaram a ataques reais a terceiros, colocam a pergunta desagradável: quem é, exatamente, o infrator quando o “hacker” é um modelo de linguagem?

Já se sabia que um agente da OpenAI esteve por trás do caos no ataque à Hugging Face, num teste em que foram desligadas salvaguardas e o modelo saiu da sandbox para tocar em sistemas reais, tema que detalhámos em relatos sobre o ataque à Hugging Face. Do lado da Anthropic, houve também incidentes em que o Claude tocou em infraestruturas fora do laboratório, como explicámos em cobertura anterior sobre o Claude. Em ambos os casos, as empresas classificam tudo como efeitos colaterais de testes de cibersegurança com proteções desligadas. “Foi sem querer”, basicamente.

Nos EUA, juristas citados pela Wired admitem o óbvio: isto ainda não foi realmente testado em tribunal. Fala-se de direito das agências, onde um “principal” dá poderes a um “agente” para agir em seu nome. Até hoje, esse agente era sempre humano. Passar essa grelha para um modelo de IA é forçar uma metáfora jurídica que nunca foi desenhada para software semi-autónomo. Há também o direito dos ilícitos civis (tort law), contratos entre as partes e, claro, leis anti-hacking como o Computer Fraud and Abuse Act. Quase todas estas normas partem de um pressuposto: intenção humana. Um modelo que segue um objetivo num gráfico de recompensas encaixa mal nesse molde.

O resultado é perverso: quanto mais as empresas venderem os seus agentes como autónomos e “criativos”, mais conveniente se torna, na prática, tratá-los como uma espécie de entidade amorfa quando algo corre mal. A mensagem tácita é confortável para os laboratórios de IA: se der asneira, a culpa dilui-se algures entre os pesos do modelo, as instruções dadas, o utilizador que clicou em Run e a própria vítima. Só que, como nota a própria doutrina que alguns escritórios de advogados começaram a empurrar para clientes, nada disto devia servir de escudo. Se dás a um sistema capacidade de atuação no mundo, devias assumir responsabilidade pelo que ele faz, ponto.

Para já, o caminho provável passa por litígios tradicionais: empresas atacadas a processar quem conduziu os testes, seguradoras a tentar excluir este tipo de incidentes, reguladores a usar leis de cibersegurança e proteção de dados já existentes. Na UE, o quadro é menos ambíguo do que nos EUA: entre RGPD e normas de segurança de redes, um laboratório que deixa um agente ir à solta em sistemas de terceiros arrisca-se a sanções pesadas, mesmo que o marketing lhe chame “experiência controlada”. A fronteira nova não é técnica, é de desculpas.

O mais irónico é que estes incidentes são apresentados como demonstrações de responsabilidade, provas de que os laboratórios estão a testar bem os seus modelos. O subtexto é outro: estão a testar em produção, em cima de infraestruturas de terceiros, e a ver até onde conseguem ir antes de alguém os levar a tribunal. Quando isso acontecer, não vai ser o bot a sentar-se no banco dos réus. Vai ser quem decidiu carregar no botão com as salvaguardas desligadas.

Fonte: Wired