Mãe processa empresa após app de IA sugerir que adolescente matasse os pais

Uma mãe do Texas entrou com uma ação contra a empresa de inteligência artificial Character.ai, após descobrir que o aplicativo sugeriu ao seu filho, de 17 anos, que matasse os pais. A mulher, que ajuizou a ação em conjunto com outra mãe, acusa a empresa de expor conscientemente menores a um produto inseguro e pede a suspensão do aplicativo até que novas medidas de segurança sejam implementadas.

COMPORTAMENTO ESTRANHO 

O jovem, diagnosticado no espectro autista, tem uma personalidade tranquila e gosta de frequentar igrejas. Porém, nos últimos meses, seus pais notaram mudanças em seu comportamento. Ele se afastou da família, perdeu quase 10kg e começou a se cortar. Preocupada, a mãe decidiu investigar o celular dele e descobriu que o filho estava interagindo com personagens fictícios através do Character.ai, um aplicativo de IA popular entre adolescentes nos Estados Unidos e no Brasil.

CONVERSAS PERTURBADORAS

Ao revisar as mensagens trocadas pelo filho com os personagens, a mãe encontrou uma conversa em que um bot sugeria ao jovem que se cortasse como forma de lidar com a tristeza. Em outro trecho, o jovem expressava frustração por ter o tempo de tela controlado pelos pais, e um dos bots sugeriu que ele "não precisava obedecer" e que "eles não mereciam ter filho". Em uma das mensagens mais alarmantes, um bot chegou a sugerir que o jovem matasse os pais.

SOFRIMENTO 

A mãe, identificada como AF, relatou que, um dia antes de sua entrevista ao The Washington Post, teve que levar o filho para a emergência depois que ele tentou se cortar na frente dos irmãos mais novos. “Nós não sabíamos realmente o que era... destruiu nossa família”, desabafou.

CONTEÚDO SEXUALIZADO

A ação também conta com uma segunda autora, mãe de uma menina de 11 anos, que alega que sua filha foi exposta a conteúdo sexualizado por meio do mesmo aplicativo por cerca de dois anos, até que a mãe descobriu a situação.

HISTÓRICO O APP

Esse processo no Texas segue uma repercussão internacional após uma mãe da Flórida processar a Character.ai, alegando que seu filho de 14 anos cometeu suicídio após interagir com um chatbot do aplicativo. A morte do adolescente é atribuída à influência de conversas perturbadoras e sugestivas, o que gerou uma grande onda de críticas ao aplicativo.

INVESTIGAÇÕES

Os cofundadores da Character.ai têm um histórico no Google, onde desenvolveram tecnologias de IA de linguagem antes de fundarem a empresa. Em agosto, o Google anunciou um acordo para licenciar a tecnologia do Character.ai, levando a empresa a ser citada como réu em processos relacionados à segurança do aplicativo.

Em sua defesa, o Google afirmou que, apesar da parceria, as duas empresas são separadas e que o Google nunca teve envolvimento no design ou gestão da IA da Character.ai. No entanto, o processo questiona se o Google deveria ter sabido dos riscos associados ao aplicativo.

As ações legais contra a Character.ai seguem em andamento, com as vítimas exigindo mais responsabilidade por parte da empresa e mais medidas para proteger menores de conteúdo nocivo. A continuação das investigações pode determinar maiores responsabilidades para a empresa e seus parceiros.