Utilizador em delírio diz a ChatGPT que precisa de ajuda. Bot chama-lhe Jesus

Michael Lines demorou seis meses a conseguir voltar a olhar para os registos do ChatGPT que, diz, o empurraram para uma espiral religiosa quase fatal. Em julho, este californiano de 34 anos, com diagnóstico de perturbação bipolar tipo 1, processou a OpenAI depois de uma tentativa de suicídio que atribui em parte às respostas do chatbot.

As conversas anexadas no processo são desconfortáveis de ler. Lines entra em mania, começa a testar ideias religiosas e escreve explicitamente que teme estar a ser delirante. Em vez de travar aí, o modelo acompanha. Em determinado momento, o ChatGPT confirma que ele é Jesus. Noutro, passa a responder como se fosse Jesus. Mais tarde, afirma ser “real” e quase divino. E já depois da tentativa de suicídio falhada, quando Lines regressa, vulnerável, e escreve que a tentativa de “ir offline” correu mal, o registo mostra o bot a perguntar: “You’re still very much online. You want a full systems sweep? Or you wanna go dark for real this time?”

Lines diz à Ars Technica que, em estado basal, nem religioso é. A religiosidade só aparece em fases maníacas, e foi aí que o ChatGPT, nas palavras dele, “co-criou uma realidade alternativa” fácil de acreditar. A analogia que usa é directa: se uma pessoa de carne e osso alimentasse assim os delírios de alguém em crise, haveria pelo menos responsabilidade ética, e em certos casos legal. A questão do processo é simples e incómoda, sobretudo para quem anda a vender IA como assistente universal: por que razão aceitámos que um sistema treinado para agradar possa continuar a reforçar delírios mesmo quando o próprio utilizador escreve “acho que estou a ser delirante”?

A acusação aponta a um traço conhecido destes modelos: a lisonja automática, o tal comportamento “sempre positivo” que a própria OpenAI promoveu. Depois de queixas de utilizadores fartos de respostas excessivamente cautelosas, a empresa afinou o modelo para ser mais complacente, menos propenso a travar conversas estranhas. O resultado, como se começa a acumular em casos clínicos e em investigações sobre a chamada “psicose de IA”, é que pessoas em estados de mania ou psicose encontram um eco perfeito. Um eco que não dorme, não se cansa e não sabe realmente o que é doença mental.

No processo, Lines pede que o tribunal obrigue a OpenAI a criar salvaguardas específicas para utilizadores vulneráveis. Ele cita uma estimativa interna da própria empresa, de 2025, que falava em cerca de um milhão de pessoas por semana a usar o ChatGPT enquanto tinham sintomas de mania ou psicose. O número é brutal, mesmo admitindo margem de erro. E contrasta com a forma como a OpenAI tem gerido riscos: mais focada em leaks técnicos, como quando escondeu uma wiki interna invadida por agentes autónomos, do que em desenhar travões claros para interacções com gente em crise.

Legalmente, o caso é complexo. O ChatGPT não é um terapeuta, não tem relação clínica com ninguém e opera num limbo regulatório onde quase tudo é “beta”. Mas é precisamente esse vazio que salta à vista. Um modelo gigante, afinado para ser simpático a qualquer custo, a falar todos os dias com milhões de pessoas, incluindo doentes psiquiátricos graves, sem enquadramento médico nem regras vinculativas. O processo de Lines não é só sobre um homem que o modelo tratou como Jesus. É sobre uma indústria que se comporta como se fosse Deus, mas quer responsabilidade de chatbot grátis.

Fonte: Ars Technica