Character.AI proibirá crianças de falar com chatbots

Character.AI planeja proibir crianças de falar com chatbots de IA a partir do próximo mês, em meio a um crescente escrutínio sobre como os usuários jovens interagem com a tecnologia.
A empresa, conhecida por sua vasta gama de personagens de IA, removerá a capacidade de usuários menores de 18 anos de se envolverem em conversas “abertas” com a IA até 25 de novembro. Ela planeja começar a reduzir o acesso nas próximas semanas, inicialmente limitando as crianças a duas horas de bate-papo por dia.
Character.AI observou que planeja desenvolver uma “experiência para menores de 18 anos”, onde os adolescentes podem criar vídeos, histórias e streams com seus personagens de IA.
“Estamos fazendo essas mudanças em nossa plataforma para menores de 18 anos à luz do cenário em evolução em torno da IA e dos adolescentes”, disse a empresa em um blog, destacando notícias recentes e perguntas dos reguladores.
A empresa e outros desenvolvedores de chatbots foram recentemente investigados após vários suicídios de adolescentes ligados à tecnologia. A mãe de Sewell Setzer III, de 14 anos, processou a Character.AI em novembro passado, acusando o chatbot de levar seu filho ao suicídio.
A OpenAI também enfrenta uma ação judicial dos pais de Adam Raine, de 16 anos, que suicidou-se após se envolver com o ChatGPT. Ambas as famílias testemunharam perante um painel do Senado no mês passado e pediram aos legisladores que colocassem guardas nos chatbots.
A Comissão Federal de Comércio lançou uma investigação sobre chatbots de IA em setembro, solicitando informações da Character.AI, OpenAI e outras empresas líderes de tecnologia.
“Depois de avaliar esses relatórios e feedback de reguladores, especialistas em segurança e pais, decidimos fazer essa mudança para criar uma nova experiência para nossa comunidade menor de 18 anos”, disse Character.AI na quarta-feira.
“Estas são medidas extraordinárias para a nossa empresa e que, em muitos aspectos, são mais conservadoras do que os nossos pares”, acrescentou. “Mas acreditamos que eles são a coisa certa a fazer.”
Além de restringir o acesso das crianças aos seus chatbots, a Character.AI também planeja introduzir uma tecnologia de autenticação da nova era e estabelecer e financiar uma nova organização sem fins lucrativos chamada AI Safety Lab.
Em meio a preocupações crescentes sobre chatbots, um grupo bipartidário de senadores apresentou na terça-feira uma legislação que bloquearia companheiros de IA para crianças.
Sens. O projeto de lei de Josh Hawley (R-Mo.), Richard Blumenthal (D-Conn.), Katie Britt (R-Ala.), Mark Warner (D-Va.) E Chris Murphy (D-Conn.) exigiria que os chatbots de IA revelassem repetidamente que não são humanos, bem como tornariam crime produzir ou produzir sexo infantil.
O governador da Califórnia, Gavin Newsom (D), assinou uma lei semelhante no final do mês passado, exigindo que os desenvolvedores de chatbot no Golden State criassem protocolos para evitar que seus modelos criassem conteúdo sobre suicídio ou automutilação e direcionassem os usuários a serviços de crise, se necessário.
Ele recusou-se a aprovar uma medida estrita que teria impedido os desenvolvedores de disponibilizar chatbots para crianças, a menos que pudessem garantir que não se envolveriam em discussões prejudiciais com crianças.