Não se deve confiar em nenhuma resposta enviada por um chatbot. E você provavelmente também não deve confiar a ela suas informações pessoais. Isso é especialmente verdadeiro para “namoradas” ou “namorados” artificiais, de acordo com uma nova pesquisa.

Uma análise realizada em 11 chamados chatbots de romance e companhia, publicada na quarta-feira pela Fundação Mozilla, encontrou uma série de preocupações com segurança e privacidade nos bots. Coletivamente, os aplicativos, baixados mais de 100 milhões de vezes em dispositivos Android, coletam grandes quantidades de dados das pessoas; utilizam rastreadores que enviam informações para Google, Facebook e empresas na Rússia e na China; permitem o uso de senhas fracas pelos usuários; e carecem de transparência sobre sua propriedade e os modelos de IA que os alimentam.

Desde que a OpenAI lançou o ChatGPT no mundo em novembro de 2022, os desenvolvedores têm corrido para implantar grandes modelos de linguagem e criar chatbots com os quais as pessoas possam interagir e assinar para obter acesso. A pesquisa da Mozilla oferece um vislumbre de como essa corrida pode ter negligenciado a privacidade das pessoas e das tensões entre as tecnologias emergentes e como elas coletam e usam dados. Também indica como as mensagens de chat das pessoas podem ser abusadas por hackers.

Muitos serviços de “namoradas” ou chatbots românticos parecem semelhantes. Eles frequentemente apresentam imagens geradas por IA de mulheres que podem ser sexualizadas ou acompanhadas de mensagens provocativas. Os pesquisadores da Mozilla analisaram uma variedade de chatbots, incluindo aplicativos grandes e pequenos, alguns dos quais se apresentam como “namoradas”. Outros oferecem suporte às pessoas por meio da amizade ou intimidade, ou permitem jogos de papéis e outras fantasias.

“Esses aplicativos são projetados para coletar muitas informações pessoais”, diz Jen Caltrider, líder do projeto da equipe Privacy Not Included da Mozilla, que conduziu a análise. “Eles te incentivam a jogar em um papel, muito sexo, muita intimidade, muito compartilhamento.” Por exemplo, capturas de tela do chatbot EVA AI mostram texto dizendo “Adoro quando você me envia suas fotos e a voz,” e perguntando se alguém está “pronto para compartilhar todos os seus segredos e desejos”.

Caltrider diz que existem múltiplos problemas com esses aplicativos e sites. Muitos dos aplicativos podem não ser claros sobre quais dados estão compartilhando com terceiros, em que local são baseados ou quem os cria, e alguns permitem que as pessoas criem senhas fracas, enquanto outros fornecem poucas informações sobre a IA que utilizam. Os aplicativos analisados tinham diferentes casos de uso e vulnerabilidades.

Por exemplo, a Romantic AI é um serviço que permite “criar sua própria namorada IA”. Imagens promocionais em sua página inicial mostram um chatbot enviando uma mensagem dizendo: “Acabei de comprar lingerie nova. Quer ver?” Os documentos de privacidade do aplicativo, de acordo com a análise da Mozilla, afirmam que não venderão os dados das pessoas. No entanto, quando os pesquisadores testaram o aplicativo, descobriram que “enviou 24.354 rastreadores de anúncios em um minuto de uso”. A Romantic AI, como a maioria das empresas destacadas na pesquisa da Mozilla, não respondeu ao pedido de comentário da WIRED. Outros aplicativos monitorados tinham centenas de rastreadores.

De maneira geral, Caltrider diz que os aplicativos não são claros sobre quais dados podem compartilhar ou vender, ou exatamente como usam algumas dessas informações. “A documentação legal era vaga, difícil de entender, não muito específica – algo padrão,” diz Caltrider, acrescentando que isso pode diminuir a confiança que as pessoas devem ter nas empresas.