Psicose, mania e depressão não são problemas novos, mas os especialistas temem que os chatbots de IA possam piorá-los. Com dados mostrando que uma grande parte dos usuários de chatbots apresentam sinais de sofrimento emocional, empresas como OpenAI, Anthropic e Character.AI estão começando a tomar medidas de mitigação de riscos no que pode ser um momento crítico.

essa semana, OpenAI publicou os dados Essa é a dica 0,07 por cento dos 800 milhões de usuários semanais do ChatGPT Apresentar sintomas de uma emergência de saúde mental relacionada à psicose ou mania. Embora a empresa descreva estes casos como “raros”, essa percentagem ainda se traduz em dezenas de milhares de pessoas

Além disso, cerca de 0,15% dos utilizadores – ou cerca de 1,2 milhões de pessoas por semana – expressam pensamentos suicidas, enquanto outros 1,2 milhões parecem formar uma ligação emocional com o chatbot antropomórfico, de acordo com dados da OpenAI.

Estará a IA a exacerbar a crise moderna de saúde mental ou a desencadear uma que antes era difícil de medir? A pesquisa sugere que Entre 15 e 100 pessoas por 100.000 pessoas Desenvolva psicose anual, uma faixa que ressalta o quão difícil é medir a condição. Enquanto isso, os dados mais recentes do Pew Research Center mostram que Cerca de 5 por cento dos adultos dos EUA Experimente pensamentos suicidas – um número superior ao estimado anteriormente.

As descobertas da OpenAI podem ter peso, uma vez que os chatbots podem reduzir as barreiras à divulgação de saúde mental, evitando barreiras como o custo, o estigma e o acesso limitado aos cuidados. Uma pesquisa recente com 1.000 adultos nos EUA descobriu que um em cada três usuários de IA compartilhou informações confidenciais ou profundamente pessoais com seu chatbot.

As descobertas da OpenAI podem ter peso à medida que os chatbots reduzem as barreiras à divulgação de saúde mental, como a vergonha percebida e o acesso aos cuidados. Uma pesquisa recente 1.000 adultos nos EUA Descobriu-se que um em cada três usuários de IA compartilhava privacidade e informações pessoais profundas com seu chatbot de IA.

Ainda assim, os chatbots não têm o dever de cuidado exigido dos profissionais de saúde mental licenciados. “Se você já está predisposto a psicose e delírios, a resposta que você obtém de um chatbot de IA pode certamente exacerbar a psicose ou a paranóia”, disse o psiquiatra Jeffrey Dietzel, de Nova York, ao Observer. “A IA é um sistema fechado, por isso convida à desconexão de outros humanos, e não nos saímos bem quando desconectados.”

Vasant Dhar, pesquisador de IA que leciona na Stern School of Business da Universidade de Nova York, disse ao Observer: “Não acho que a máquina entenda nada sobre o que está acontecendo na minha cabeça. Ela está simulando um especialista amigável e aparentemente competente. Mas não é.”

“Estas organizações têm de ter algum tipo de responsabilidade, porque vão a locais que podem ser muito perigosos para um grande número de pessoas e para a sociedade em geral”, acrescentou Dhar.

O que as empresas de IA estão fazendo sobre o problema

As empresas por trás dos chatbots populares estão lutando para implementar medidas preventivas e corretivas

O modelo mais recente da OpenAI, GPT-5, Mostra melhora no tratamento de conversas difíceis Comparado com versões anteriores. Uma pequena pesquisa comunitária de terceiros confirmou que o GPT-5 demonstrou uma melhoria acentuada, embora ainda incompleta, em relação ao seu antecessor. A agência também expandiu as recomendações da linha direta de crise e adicionou “lembretes gentis para fazer pausas durante sessões longas”.

Em agosto, a Anthropic anunciou que seus modelos Cloud Opus 4 e 4.1 agora podem encerrar conversas que parecem ser “persistentemente prejudiciais ou ofensivas”. No entanto, os usuários observaram que ainda podem contornar o recurso iniciando um novo bate-papo ou editando mensagens anteriores para “criar um novo ramo da última conversa”.

Após uma série de ações judiciais relacionadas a homicídio culposo e negligência, Character.AI anunciou esta semana que proibirá oficialmente o chat para menores. Os usuários menores de 18 anos enfrentarão agora um limite de duas horas em “bate-papos abertos” com os personagens de IA da plataforma, e a proibição total entrará em vigor em 25 de novembro.

A Meta AI recentemente reforçou suas diretrizes internas que anteriormente permitiam que chatbots criassem conteúdo de roleplay sexual – mesmo para menores.

Enquanto isso, Grok, da xAI, e Gemini, do Google, enfrentam críticas por seu comportamento excessivamente complacente. Os usuários dizem que Grok prioriza o acordo em vez da correção, resultando em resultados problemáticos. Gemini gerou polêmica após o desaparecimento em 5 de abril de John Ganz, da Virgínia, no Missouri, que amigos descreveram como uma dependência extrema de chatbots. (Ganz não foi encontrado.)

Reguladores e activistas também pressionam por protecções legais. Em 28 de outubro, os senadores Josh Hawley (R-Mod.) e Richard Blumenthal (D-Conn.) Apresentaram diretrizes para a Lei de Verificação de Idade do Usuário e Diálogo Responsável (GUARD), que exigiria que as empresas de IA verificassem a idade dos usuários e proibissem menores de usar RobotMan ou emote chatbots.