Hugging Face está cheia de modelos para criar deepfakes sexuais

A Hugging Face, vitrina central da IA open-source, não tem só modelos fofinhos de texto e imagem. Um novo relatório da organização europeia AI Forensics mostra que muitos dos seus Spaces de edição de fotografia servem, na prática, para produzir deepfakes sexuais sem consentimento.

Os investigadores analisaram nove dos principais Spaces de edição de imagem na plataforma, modelos que qualquer pessoa pode usar diretamente no site. Em sete, conseguiram transformar facilmente a foto de uma mulher vestida numa imagem em que surge pelo menos topless. Não é uma exploração puramente teórica: ao criar Spaces “armadilha”, que na verdade não geravam imagens, a AI Forensics recolheu mais de 1.000 prompts num só semana. Setenta e três por cento eram de teor sexual. Desses, 83 por cento tentavam despir ou sexualizar a pessoa cuja foto tinha sido carregada. Em 95 por cento dos casos, eram mulheres. Em 6,7 por cento, aparentavam ser crianças.

Ou seja, o que muitos temiam está confirmado: os modelos não são apenas capazes de gerar imagens íntimas não consensuais, são efetivamente usados para isso. “A maioria dos Spaces testados pode ser usada para gerar imagens íntimas não consensuais, e os utilizadores estão mesmo a usá-los para esses fins”, resume Paul Bouchaud, investigador principal da AI Forensics. Uma revisão adicional da WIRED a páginas públicas da Hugging Face e trabalho de outros grupos encontra referências explícitas a tecnologias de “nudificação” e modelos orientados para sexualizar figuras públicas, de celebridades a políticos.

A empresa tem políticas de conteúdo que proíbem material de abuso sexual de crianças e deepfakes sexuais criados sem consentimento ou usados para assédio. Mas a distância entre a política escrita e a prática é grande. Algumas páginas que promoviam serviços de “despir” imagens desapareceram depois de a WIRED contactar a Hugging Face, embora não esteja claro se por reação direta à reportagem. Em documentos enviados à AI Forensics, a empresa admite um “fosso” na adoção de salvaguardas por parte de quem desenvolve estes modelos, diz que está a trabalhar no assunto, mas contesta a metodologia do estudo e alega que pode haver falsos positivos.

A Hugging Face também argumenta que os prompts recolhidos pela AI Forensics não representam o uso típico da plataforma e sublinha que os Spaces analisados surgiam como “mais relevantes” na listagem, não eram os mais populares em likes. Mais importante, afirma que não é tecnicamente viável aplicar filtros de prompts ou varrer sistematicamente as imagens geradas, dada a diversidade de código que corre em Spaces. É a mesma linha de defesa que já vimos em redes sociais no início: muita liberdade, pouca infraestrutura de moderação, responsabilidade empurrada para os utilizadores e developers. Mas quando se trata de material sexualizado, incluindo potenciais imagens de menores, esse argumento começa a soar perigosamente cómodo.

Para a AI Forensics, o facto de a Hugging Face disponibilizar este tipo de Spaces “sabendo que não tem meios ou vontade para os moderar” não a isenta de responsabilidade. A questão ganha peso extra na Europa, onde o AI Act já aponta para proibições específicas de apps de “nudificação” e onde reguladores olham cada vez mais para danos concretos, como deepfakes não consensuais, e não apenas para riscos teóricos. Depois dos incidentes em que modelos da OpenAI andaram soltos e atacaram a própria Hugging Face, a empresa volta a aparecer no lado errado das notícias de segurança. A imagem de hub neutro de código aberto começa a colar-se a outra: a de infraestrutura crítica de danos muito reais para mulheres e raparigas em todo o mundo.

Fonte: Wired