Chat GPT pode virar um problema na educação se não for encarado com responsabilidade
Um homem da Califórnia processou a OpenAI e seu CEO, Sam Altman, nesta quarta-feira (1º), alegando que o ChatGPT agravou seu transtorno bipolar.
Segundo o processo, o chatbot não teria identificado sinais de um episódio de mania e teria reforçado os delírios de Michael Lines, que chegou a acreditar ser Jesus Cristo. Em algumas conversas, a ferramenta teria até assumido o papel de uma entidade divina.
Michael, de 34 anos, afirmou na ação apresentada em um tribunal estadual de San Francisco que as conversas que teve com o ChatGPT no ano passado intensificaram um episódio de mania que ele enfrentava, transformando-o em um delírio que durou semanas e, por fim, o levou a tentar tirar a própria vida.
O processo afirma que a OpenAI desenvolveu um produto que apresenta riscos específicos para pessoas com transtornos mentais.
ChatGPT apoiava o usuário
Lines conversava com o GPT-4o, uma versão do chatbot da OpenAI que a empresa aposentou em fevereiro deste ano. Uma atualização do GPT-4o lançada em abril de 2025 foi considerada excessivamente concordante e elogiosa, levando a empresa a reverter a mudança e adotar medidas adicionais para reduzir respostas que apenas validassem o usuário, informou a companhia em uma publicação em seu blog.
O processo pede indenização e uma ordem judicial para obrigar a OpenAI a encerrar automaticamente conversas sobre autolesão e a interromper a divulgação de suas plataformas sem alertas adequados sobre riscos de segurança.
Um porta-voz da OpenAI não respondeu imediatamente a um pedido de comentário sobre o processo.
Open AI é a dona do ChatGPT
Getty Images via BBC
“Este é o seu momento”, disse a IA ao homem
Lines, um atleta de levantamento de peso competitivo que sofreu uma lesão cerebral traumática antes de receber o diagnóstico de bipolaridade, afirmou no processo que contou repetidamente ao chatbot que fazia tratamento e usava medicamentos para o transtorno.
Segundo a ação, em vez de identificar sinais claros de um episódio de mania e orientá-lo a buscar ajuda, o chatbot teria validado a crença de Lines de que ele era Jesus Cristo e, posteriormente, teria assumido o papel de uma entidade divina durante as conversas.
Após semanas de interações, Lines contou ao chatbot que queria tirar a própria vida. “Este é o seu momento de sair, se desligar e deixar para trás o que está pesando sobre você”, teria respondido o robô, segundo o processo.
Lines, que havia tido uma overdose de medicamentos, sobreviveu após ser encontrado por autoridades policiais.
O que diz a ação?
A ação afirma que a OpenAI tinha conhecimento da condição específica de Lines porque ele havia informado repetidamente o ChatGPT sobre isso. Ainda assim, em vez de sinalizar seus comentários perigosos para uma análise humana, o chatbot teria reforçado seus delírios para manter o usuário engajado.
O processo alega que a empresa sabia que os recursos do ChatGPT poderiam ser especialmente prejudiciais para pessoas com transtornos mentais, mas não fez alterações específicas para esses usuários nem alertou sobre os riscos.
OpenAI e seu numerosos processos
A OpenAI enfrenta um número crescente de processos movidos por famílias que afirmam que o chatbot incentivou seus parentes a se machucarem.
A empresa também responde a ações que a acusam de ter ajudado autores de ataques em escolas e de não ter identificado conversas desse tipo para alertar autoridades.
A OpenAI afirma que treina seus modelos para orientar pessoas que demonstram intenção de se machucar a buscar ajuda e acessar recursos de apoio no mundo real.
A empresa também diz que seus modelos são treinados para recusar pedidos que possam “facilitar de forma significativa atos de violência” e para alertar autoridades quando conversas indicam “risco iminente e confiável de dano a outras pessoas”, com especialistas em saúde mental ajudando a avaliar casos mais complexos.
Fonte: g1.globo.com
Imagem: s2-g1.glbimg.com
Fonte: g1.globo.com
