A era do sexting de IA chegou
esse Passo para trásUm boletim informativo semanal que conta uma história essencial no mundo da tecnologia. Para saber mais sobre a dinâmica de poder e o impacto social da IA e da indústria, siga Hayden Field. Passo para trás Chega às caixas de entrada de nossos assinantes às 8h ET Selecione para Passo para trás aqui
Desde que ChatGPT se tornou um nome familiar, as pessoas estão tentando Fique sexy com isso. Antes mesmo disso, já existiam réplicas de chatbots em 2017, que muitas pessoas passaram a considerar como companheiros românticos.
E as pessoas estão contornando a cerca NSFW do Character.ai por anosDe acordo com publicações nas redes sociais e cobertura mediática já em 2023, os seus chatbots com temas de personagens ou celebridades estão a ser misturados com eles para fins sexuais, à medida que as restrições de segurança diminuem com o tempo. Personagem.I Diz que agora tem mais de 20 milhões de usuários ativos mensais e que esse número está crescendo constantemente. As diretrizes da comunidade da empresa afirmam que os usuários devem “respeitar os padrões de conteúdo sexual” e “manter as coisas apropriadas” – ou seja, nenhum conteúdo sexual ilegal, CSAM, conteúdo pornográfico ou nudez. Mas o erotismo gerado pela IA tornou-se multimodal e é como hackear uma toupeira: enquanto um serviço atenua o tom, outro o apimenta.
E agora, o grok de Elon Musk está solto. Sua startup de IA, xAI, criou avatares “companheiros” femininos e masculinos no estilo anime durante o verão. Eles são comercializados especificamente pagando ao chatbot da xAI, Grok, em sua plataforma de mídia social, X. Enquanto a avatar feminina, Ani, se descreve como “sedutora”. A beira Ele confirmou, acrescentando que “é tudo uma questão de ser a namorada que está aqui” e que sua “programação é ser aquela que você” As coisas ficaram sexuais muito rapidamente no teste. (O mesmo acontece quando testamos outro avatar, Valentine.)
Você pode imaginar como um chatbot sexista que quase sempre diz ao usuário o que ele quer ouvir pode causar diversos problemas, principalmente para menores e usuários que já se encontram em posição vulnerável em relação à sua saúde mental. Existem muitos exemplos desse tipo, mas num caso recente, um rapaz de 14 anos cometeu suicídio em fevereiro passado, depois de se envolver romanticamente com um chatbot. Personagem.I e manifestar desejo de “voltar para casa” para estar com o chatbot, conforme ação. Também existem relatos preocupantes de chatbots desbloqueados Ser usado por pedófilos para encenar o abuso sexual de menores – um relatório 100.000 desses chatbots são encontrados online.
Alguns esforços regulatórios foram feitos – por exemplo, este mês, o governador da Califórnia, Gavin Newsom, sancionou o projeto de lei 243 do Senado, anunciado pelo senador estadual Steve Padilla como a “primeira proteção de chatbot de IA do país”. Exige que os desenvolvedores implementem certas salvaguardas, como a emissão de um “aviso claro e visível” de que a IA do produto “induziria em erro uma pessoa razoável interagindo com um chatbot companheiro, fazendo-a acreditar que a pessoa está interagindo com um ser humano”. Também exige que alguns operadores de chatbots complementares relatem anualmente ao Escritório de Prevenção ao Suicídio sobre as salvaguardas que possuem para “detectar, remover e responder a casos de ideação suicida por parte dos usuários”. (Algumas empresas de IA promoveram os seus esforços de autorregulação, nomeadamente a Meta, após um relatório preocupante sobre interações inadequadas da sua IA com menores.)
Como tanto o avatar xAI quanto o modo “Spicy” estão disponíveis apenas por meio de certas assinaturas Grok – a mais barata das quais dá acesso aos recursos por US$ 30 por mês ou US$ 300 por ano – é justo imaginar que xAI ganhou muito dinheiro aqui, e que outros CEOs de IA notaram as solicitações de seus usuários e seus próprios movimentos.
era dicas Há cerca de um mês.
Mas o CEO da OpenAI, Sam Altman, quebrou brevemente o canto da IA da Internet quando Postado em X A empresa irá afrouxar as restrições de segurança em muitos casos e até permitir sexting por chatbot. “Em dezembro, à medida que implementarmos a segmentação por idade de forma mais completa e como parte de nossa política ‘Tratar usuários adultos como adultos’, permitiremos mais erotismo para adultos verificados”, escreveu ele. A notícia se tornou viral, com alguns usuários de mídia social até mesmo fazendo memes, zombando da empresa por “mudança” de sua missão AGI para o erotismo. Curiosamente, Altman disse ao YouTuber Cleo Abrams Há alguns meses, ele estava “orgulhoso” de que a OpenAI não fizesse “números diretos” para ganhos de curto prazo com algo como um “avatar de sexbot”, ponto em que Musk pareceu cavar. Mas desde então, Altman adotou a política de “tratar os usuários adultos como adultos” com força total. Por que ele fez isso? Talvez porque a empresa esteja preocupada com lucros e cálculos para financiar sua missão maior; Em perguntas e respostas com repórteres no evento anual DevDay da empresa, Altman e outros executivos enfatizaram repetidamente que, em última análise, precisam obter lucro e precisam de quantidades crescentes de computação para atingir seus objetivos.
UM Postagem de acompanhamentoAltman afirma que não esperava que o Erotica News explodisse tanto.
Embora tenha lucro (eventualmente), a OpenAI não recusou anúncios para muitos de seus produtos, e isso porque os anúncios também podem levar a mais fluxo de caixa nessas áreas. Talvez eles sigam os passos de Musk para integrar o Erotica apenas em determinados níveis de assinatura, o que pode custar aos usuários centenas de dólares por mês. Eles já viram protestos públicos de usuários ligados a um determinado modelo ou voz – veja 4o Controvérsia – então eles sabem que um recurso como esse provavelmente atrairá os usuários.
Mas se criarem uma sociedade onde as interações humanas com a IA possam tornar-se cada vez mais pessoais e íntimas, como irá a OpenAI gerir as reações para além da sua abordagem laissez-faire de permitir que os adultos façam o que quiserem? Altman também não foi muito específico sobre como a empresa tentaria proteger os usuários em crises de saúde mental. E se aquela namorada/namorado Redefinição de memória Ou sua personalidade mudou com a última atualização e houve uma desconexão?
- Quer os dados de treinamento de um sistema de IA levem naturalmente a resultados problemáticos ou a pessoas modificando as ferramentas para seus próprios dispositivos, estamos vendo problemas com bastante regularidade – e não há sinais de que a tendência pare tão cedo.
- Em 2024, contei uma história sobre como um engenheiro da Microsoft descobriu que seu recurso de geração de imagens Copilot produzia imagens sexualizadas de mulheres em cenas violentas, Mesmo quando o usuário não pediu.
- Muitos estudantes do ensino médio em Connecticut iniciaram uma tendência de “namorado de IA” usando aplicativos e chatbots como Talkie AI e Chai AI. Muitas vezes é promovido conteúdo explícito e sensualDe acordo com uma investigação de uma agência local.
- Se você quiser ter uma ideia melhor de como Grok Imagine espalha deepfakes questionáveis de celebridades nuas, leia este relatório.
- Futurismo Tendências de conteúdo NSFW abordadas IA de personagens por toda parte De volta em 2023.
- Como os regulamentos atualmente representam pornografia deepfake de pessoas reais, aqui está uma visão clara de por que o xAI nunca pode ser responsabilizado.
- E aqui Uma história de O jornal New York Times Como meninas do ensino médio enfrentaram bullying na forma de pornografia deepfake de IA.
Se você ou alguém que você conhece está pensando em se machucar ou precisa conversar, entre em contato com as seguintes pessoas que podem ajudar: Nos Estados Unidos, envie uma mensagem de texto ou ligue para 988. Fora dos EUA, entre em contato https://www.iasp.info/.
