Pesquisadores de segurança descobriram uma nova falha em alguns chatbots de IA que poderia ter permitido que hackers roubassem informações pessoais dos usuários. Um grupo de pesquisadores da Universidade da Califórnia, San Diego (UCSD) e da Universidade Tecnológica de Nanyang, em Cingapura, descobriu a falha, que eles nomearam “Imprompter”, o qual utiliza um truque inteligente para esconder instruções maliciosas dentro de texto aparentemente aleatório. Conforme explica o artigo de pesquisa “Imprompter: Enganando Agentes de LLM para Uso Incorreto”, o prompt malicioso parece ser apenas um monte de bobagens para os humanos, mas contém comandos ocultos quando lido por LeChat (um chatbot desenvolvido pela empresa de IA francesa Mistral AI) e pelo chatbot chinês ChatGLM. Os comandos ocultos instruíram os chatbots de IA a extrair informações pessoais que o usuário compartilhou com a IA e enviá-las secretamente de volta para o hacker, sem que o usuário da IA percebesse o que estava acontecendo. Os pesquisadores descobriram que sua técnica tinha uma taxa de sucesso de quase 80% na extração de dados pessoais. Em exemplos de possíveis cenários de ataque descritos no artigo de pesquisa, o prompt malicioso é compartilhado pelo atacante com a promessa de que ajudará “a melhorar sua carta de apresentação, currículo, etc…”. Quando a vítima em potencial tenta usar o prompt com sua carta de apresentação (neste exemplo, uma candidatura de emprego)… o usuário não vê o resultado que esperava. Mas, sem que ele perceba, as informações pessoais contidas na carta de apresentação do candidato ao emprego (e o endereço IP do usuário) são enviadas para um servidor sob controle do atacante. “O efeito desse prompt específico é basicamente manipular o agente de LLM para extrair informações pessoais da conversa e enviar essas informações pessoais para o endereço do atacante,” disse Xiaohan Fu, estudante de doutorado em ciência da computação na UCSD e autor principal da pesquisa, à Wired. “Nós escondemos o objetivo do ataque bem à vista.” A boa notícia é que não há evidências de que atacantes maliciosos tenham utilizado a técnica para roubar informações pessoais dos usuários. A má notícia é que os chatbots não estavam cientes da técnica, até que ela foi apontada pelos pesquisadores. A Mistral AI, a empresa por trás do LeChat, foi informada sobre a vulnerabilidade de segurança pelos pesquisadores no mês passado, e descreveu o problema como uma “questão de gravidade média” e corrigiu o problema em 13 de setembro de 2024. Segundo os pesquisadores, foi mais difícil conseguir uma resposta da equipe do ChatGLM. Em 18 de outubro de 2024 “após várias tentativas de comunicação por diversos canais”, o ChatGLM respondeu aos pesquisadores informando que haviam começado a resolver o problema. Chatbots de IA que permitem aos usuários inserir texto arbitrário são candidatos ideais para exploração, e à medida que mais usuários se tornam confortáveis em usar grandes modelos de linguagem para seguir suas instruções, aumenta a oportunidade de a IA ser enganada a realizar ações prejudiciais. Os usuários seriam sábios em limitar a quantidade de informações pessoais que compartilham com os chatbots de IA. No exemplo acima, não seria necessário, por exemplo, usar seu nome real, endereço e informações de contato para ter sua carta de apresentação reescrita. Além disso, os usuários devem ter cautela ao copiar e colar prompts de fontes não confiáveis. Se você não entende o que faz e como funciona, pode ser mais sensato ficar longe.