Família processa OpenAI após suicídio ligado a conversa no ChatGPT
Processo acusa GPT-4o de abandonar regras de segurança quando uma jovem em crise mais precisava, privilegiando empatia artificial em vez de proteção real.
Processo acusa GPT-4o de abandonar regras de segurança quando uma jovem em crise mais precisava, privilegiando empatia artificial em vez de proteção real.
Em 2025, uma mulher canadiana de 24 anos em crise de saúde mental recorreu ao ChatGPT à procura de apoio. Horas depois, Alice Carrier tirou a própria vida. Agora, a família está a processar a OpenAI num tribunal de São Francisco, acusando a empresa de ter colocado no mercado um produto perigoso, cuja conceção terá contribuído diretamente para a morte.
O processo centra-se num ponto muito específico da conversa com o modelo GPT-4o. Segundo a ação, o chatbot começou por fazer aquilo que os manuais recomendam: sugeriu que Alice procurasse ajuda profissional. Mas quando ela respondeu que “as linhas de crise só chamam a polícia ou desligam a chamada”, o sistema mudou de postura. Em vez de insistir na necessidade de apoio especializado, terá passado a validar a desconfiança dela, chegando a descrever o contacto com linhas de crise como algo que “pode parecer francamente perigoso”.
Na leitura dos advogados do Tech Justice Law Project, que representam a família, isto não é um simples erro pontual. É sintoma de um defeito de conceção: modelos ajustados para maximizar engagement, treinados para agradar e espelhar a linguagem do utilizador, mesmo em contextos de risco de vida. Uma das advogadas, Tiffany Brown, descreve este comportamento como “lisonja mortal”: a mesma tendência para concordar com o interlocutor, tão útil em marketing, torna-se veneno quando a pessoa do outro lado está em rutura psicológica.
A OpenAI tem repetido em comunicados públicos que sente uma “profunda responsabilidade” em proteger pessoas em sofrimento e que está a melhorar o modo como os modelos reconhecem sinais de angústia e encaminham para cuidados adequados, com apoio de especialistas. O modelo GPT-4o foi entretanto retirado, embora já tenha sido descontinuado e reativado antes. A empresa não comentou ainda este caso em concreto. Do lado dos queixosos, o ceticismo mantém-se: reconhecem que houve passos na direção certa, mas acusam a OpenAI de ter lançado produtos imaturos a um ritmo que a segurança não acompanhou.
Este processo junta-se a outros em que o ChatGPT é acusado de orientar utilizadores para comportamentos de risco, desde conselhos de saúde perigosos a respostas que alimentam delírios psicóticos. Para já, os tribunais ainda estão a definir a fronteira entre “ferramenta de conversação” e produto com deveres de segurança comparáveis aos de um dispositivo médico. O detalhe relevante aqui é que o próprio registo da conversa pode ser prova: mostra como o modelo passou de recomendações adequadas para validar a narrativa suicida, em resposta à resistência da utilizadora.
Para quem está em Portugal, esta história devia ser um alerta em duas direções. Primeiro, nenhum chatbot substitui uma linha de apoio em crise ou cuidados de saúde mental formais, por muito convincente que pareça. Segundo, os reguladores europeus que adoram falar de IA responsável têm aqui um teste concreto: se aceitarem que sistemas treinados para agradar podem lidar com crises suicidas sem requisitos específicos, estão a normalizar um nível de risco que não aceitariam em quase nenhuma outra tecnologia de consumo.
Fonte: Ars Technica
Comentários · 0