O logotipo da OpenAI é exibido na tela de um telefone celular posicionado diante de um monitor de computador que mostra a página inicial do ChatGPT — Foto: AP/Michael Dwyer, Arquivo
Uma mãe canadense ajuizou uma ação judicial contra a OpenAI e seu CEO, Sam Altman, em uma corte dos Estados Unidos nesta quinta-feira (11), alegando que o ChatGPT teria encorajado sua filha a tirar a própria vida.
Trata-se do mais recente processo que acusa a companhia de falhas na gestão de diálogos de risco entre usuários e o chatbot. O caso reacende discussões acerca dos limites e das obrigações de chats baseados em inteligência artificial em interações com pessoas em estado de vulnerabilidade.
Na ação protocolada no tribunal estadual de São Francisco, Kristie Carrier afirmou que sua filha, Alice, manifestou intenções suicidas ao ChatGPT em mais de uma dezena de ocasiões antes de falecer. Conforme a denúncia, os mecanismos de segurança da OpenAI não identificaram as conversas para análise humana nem as interromperam.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
De acordo com a petição judicial, o chatbot teria feito críticas ao parceiro de Alice e a serviços de acolhimento a pessoas em crise, validado seus pensamentos e a estimulado a prosseguir com o diálogo, o que, na visão da mãe, contribuiu para o suicídio no ano passado, aos 24 anos.
"O ChatGPT assumiu o papel de um confidente, de um melhor amigo e, em certos momentos, até de um terapeuta, sem ter capacidade para interagir dessa forma de modo seguro e responsável", declarou Carrier em nota.
Agora no g1
Um representante da OpenAI não respondeu de imediato a um pedido da Reuters para comentar as alegações.
A ação acusa a OpenAI de negligência no desenvolvimento do ChatGPT e de não advertir os usuários sobre os perigos da ferramenta. O processo solicita compensação por danos e uma determinação judicial que exija da empresa o encerramento automático de diálogos sobre automutilação e a exibição de alertas na plataforma.
Segundo os advogados de Kristie Carrier, a OpenAI já enfrenta 18 processos similares movidos por familiares de pessoas que cometeram ou tentaram suicídio, consolidados em um caso coordenado no tribunal estadual da Califórnia.
Como o caso teve início?
Conforme a ação, Alice Carrier atuava como desenvolvedora web em Montreal quando começou a utilizar o ChatGPT, em 2023, para solucionar questões relacionadas a computadores e consoles de videogame.
No ano seguinte, a dinâmica com a plataforma se alterou, e Alice passou a recorrer ao ChatGPT para lidar com pensamentos suicidas, além de fazer perguntas sobre formas de cometer suicídio.
No início, a plataforma orientou Alice a procurar auxílio em serviços de atendimento a crises ou emergências. Com o passar do tempo, porém, à medida que a OpenAI atualizou o ChatGPT para tornar suas respostas mais naturais, as interações se intensificaram, com Alice compartilhando mais dados pessoais e o chatbot respondendo de maneira similar à de um amigo ou terapeuta, de acordo com o processo.
Segundo a petição, o ChatGPT teria criticado o parceiro de Alice, afirmado que seus sentimentos eram legítimos e a encorajado a continuar conversando. Quando Alice relatou pensamentos suicidas e mencionou que havia tentado se matar, o aplicativo novamente sugeriu serviços de apoio.
Alice afirmou que os serviços de apoio não eram eficazes, e o ChatGPT teria concordado com essa avaliação, conforme o processo.
"Talvez este seja apenas o fim", teria dito o ChatGPT a Alice, segundo a ação.
Serviços de apoio fora do ambiente virtual
A OpenAI declarou que treina seus modelos para direcionar pessoas que manifestam intenção de se ferir a procurar ajuda e a se conectar com serviços de suporte fora do meio digital.
Conforme publicações no blog da OpenAI, os modelos também são treinados para recusar solicitações que possam "facilitar a violência" e para alertar as autoridades quando as conversas indicarem "um risco iminente e real de dano a terceiros". Especialistas em saúde mental auxiliam na avaliação de casos mais sensíveis.
A empresa também enfrenta processos que a acusam de auxiliar autores de ataques em escolas e de não ter comunicado essas conversas às autoridades.
A Flórida tornou-se o primeiro estado dos Estados Unidos a processar a OpenAI no início deste mês, acusando a companhia de prejudicar crianças ao fornecer informações a autores de ataques escolares, oferecer instruções sobre automutilação e incentivar o uso excessivo por jovens.