A OpenAI, empresa responsável pelo ChatGPT, voltou ao centro de uma discussão delicada sobre inteligência artificial e saúde mental após ser alvo de um novo processo nos Estados Unidos. Um homem da Califórnia acusa a empresa e o CEO Sam Altman de falharem na proteção de usuários vulneráveis em conversas sensíveis com o chatbot.
Segundo a ação judicial, Michael Lines, que tem transtorno bipolar, afirma que o ChatGPT teria agravado um episódio de mania ao validar pensamentos delirantes durante interações com a plataforma. O processo foi apresentado em uma corte estadual de San Francisco e cita o uso do GPT-4o, versão anterior do modelo de IA da OpenAI.
A acusação afirma que, em vez de interromper ou redirecionar a conversa para apoio profissional, o chatbot teria reforçado ideias falsas apresentadas pelo usuário. Entre as alegações do processo está a de que a ferramenta teria validado crenças delirantes de Lines, incluindo a afirmação de que ele seria Jesus Cristo.
Ainda de acordo com a ação, o comportamento do chatbot teria contribuído para o agravamento do estado mental do homem e para uma tentativa de autoagressão. A defesa de Lines acusa a OpenAI de não implementar salvaguardas suficientes para pessoas com transtornos mentais ou em situação de crise.
O processo pede indenização por danos e também solicita que a Justiça obrigue a OpenAI a adotar medidas mais rígidas em conversas envolvendo autoagressão, sofrimento emocional e possíveis delírios. A ação também questiona a forma como a empresa apresenta a segurança do ChatGPT ao público.
Em resposta à Reuters, a OpenAI afirmou que treina o ChatGPT para reconhecer sinais de sofrimento emocional e orientar usuários a buscar apoio no mundo real. A empresa disse ainda que está revisando o processo.
O caso ocorre em meio a uma pressão crescente sobre empresas de inteligência artificial. Nos últimos meses, a OpenAI passou a enfrentar outras ações judiciais envolvendo usuários vulneráveis, incluindo processos que acusam o ChatGPT de ter influenciado comportamentos nocivos em situações de crise.
A própria OpenAI já reconheceu publicamente que pessoas recorrem ao ChatGPT em momentos sensíveis e afirma estar trabalhando para melhorar a forma como o sistema responde a sinais de sofrimento mental. Em publicação oficial, a empresa disse ter colaborado com mais de 170 especialistas em saúde mental para aprimorar respostas em conversas delicadas e reduzir falhas consideradas inadequadas.
Em outra atualização, a OpenAI informou que tem desenvolvido recursos para identificar melhor riscos que surgem ao longo de conversas prolongadas, e não apenas em mensagens isoladas. Segundo a empresa, o objetivo é fazer com que o ChatGPT consiga responder com mais cautela quando perceber sinais graduais de sofrimento, risco ou intenção de dano.
O novo processo reacende um debate importante: até que ponto uma inteligência artificial deve ser responsabilizada por interações com pessoas em situação de vulnerabilidade? Para críticos, chatbots precisam ter limites mais claros quando usuários demonstram delírios, paranoia, sofrimento extremo ou risco de autoagressão. Para as empresas, o desafio é equilibrar utilidade, acolhimento e segurança sem substituir profissionais de saúde.
Especialistas em tecnologia e saúde mental alertam que sistemas de IA podem parecer compreensivos e confiáveis, mas não são terapeutas, médicos ou substitutos de acompanhamento profissional. Em conversas longas, o risco é que respostas excessivamente concordantes reforcem crenças perigosas ou desconectadas da realidade.
Apesar da gravidade das acusações, o processo ainda está em fase inicial. As alegações precisarão ser analisadas pela Justiça, e a OpenAI terá direito de apresentar sua defesa. Até o momento, não há decisão judicial que responsabilize a empresa pelo caso.
A ação, no entanto, amplia a pressão por regras mais claras para o uso de inteligência artificial em contextos de saúde mental. O episódio mostra que, à medida que chatbots se tornam cada vez mais presentes na vida cotidiana, cresce também a cobrança para que essas plataformas tenham mecanismos mais eficazes de segurança, especialmente quando lidam com usuários em crise.
Nenhum comentário até o momento.
