Uma vulnerabilidade crítica na plataforma Replicate AI poderia ter permitido que invasores executassem um modelo de AI malicioso dentro da plataforma para um ataque entre locatários – permitindo acesso aos modelos de AI privados dos clientes e potencialmente expondo conhecimento proprietário ou dados sensíveis.
Pesquisadores da Wiz descobriram a falha como parte de uma série de parcerias com fornecedores de AI como serviço para investigar a segurança de suas plataformas. A descoberta da falha demonstra a dificuldade da separação entre locatários em soluções de AI como serviço, especialmente em ambientes que executam modelos de AI de fontes não confiáveis.
“A exploração dessa vulnerabilidade teria permitido acesso não autorizado aos prompts e resultados de AI de todos os clientes da plataforma da Replicate,” e potencialmente alterar esses resultados, escreveram Shir Tamari e Sagi Tzadik da Wiz em um post de blog publicado hoje. Anteriormente, os pesquisadores da Wiz encontraram falhas que levaram a um resultado semelhante na plataforma de AI HuggingFace.
“Ao rodar modelos de AI em ambientes de nuvem, é crucial lembrar que os modelos de AI são na verdade códigos,” diz Ami Luttwak, CTO e co-fundador da Wiz, para Dark Reading. “Como todo código, a origem deve ser verificada e o conteúdo escaneado por payloads maliciosos.”
De fato, a falha representa uma ameaça imediata para os fornecedores de AI como serviço, que muitas vezes permitem que seus clientes executem códigos não confiáveis na forma de modelos de AI em ambientes compartilhados – onde há dados de outros clientes. Também pode afetar equipes de AI, que podem ser afetadas quando adotam modelos de AI de fontes não confiáveis e os executam em seus computadores ou servidores da empresa, observaram os pesquisadores.
A Wiz Research divulgou de forma responsável a vulnerabilidade para o fornecedor de compartilhamento de modelos de AI, Replicate, em janeiro de 2023; a empresa prontamente mitigou a falha para que nenhum dado do cliente fosse comprometido. Neste momento, nenhuma ação adicional é necessária pelos clientes.
A exploração da falha estava relacionada à execução remota de códigos na plataforma da Replicate, criando um contêiner malicioso no formato Cog, que é um formato proprietário usado para conter modelos na Replicate. Após conter um modelo usando Cog, os usuários podem enviar a imagem resultante para a plataforma da Replicate e começar a interagir com ela.
Pesquisadores da Wiz criaram um contêiner Cog malicioso, enviaram para a plataforma e, com privilégios de root, o usaram para executar códigos na infraestrutura da Replicate.
“Desconfiamos que essa técnica de execução de código seja um padrão, onde empresas e organizações executam modelos de AI de fontes não confiáveis, mesmo que esses modelos sejam códigos potencialmente maliciosos,” escreveram os pesquisadores no post. Uma técnica similar foi usada para explorar falhas encontradas na plataforma HuggingFace.
Essa exploração permitiu que os pesquisadores investigassem o ambiente lateralmente e, por fim, fora do nó em que estavam rodando, que estava dentro de um cluster Kubernetes hospedado na Google Cloud Platform. Embora o processo tenha sido desafiador, eles eventualmente conseguiram realizar um ataque entre locatários que permitiu consultar outros modelos e até modificar a saída desses modelos.
“A exploração dessa vulnerabilidade representaria riscos significativos para a plataforma Replicate e seus usuários,” escreveram os pesquisadores. “Um atacante poderia consultar os modelos de AI privados dos clientes, potencialmente expondo conhecimento proprietário ou dados sensíveis envolvidos no processo de treinamento do modelo. Além disso, a interceptação dos prompts poderia expor dados sensíveis, incluindo informações pessoalmente identificáveis (PII).”
De fato, a capacidade de alterar prompts e respostas de um modelo de AI representa uma ameaça séria para a funcionalidade de aplicações de AI, dando aos atacantes uma maneira de manipular o comportamento da AI e comprometer os processos de tomada de decisão desses modelos.
“Atos como esse ameaçam diretamente a precisão e confiabilidade das saídas impulsionadas por AI, minando a integridade de decisões automatizadas e potencialmente tendo consequências de longo alcance para os usuários dependentes dos modelos comprometidos,” escreveram os pesquisadores.
Atualmente não há uma maneira fácil de validar a autenticidade de um modelo ou escanear ameaças, então modelos de AI maliciosos representam uma nova superfície de ataque que requer outras formas de mitigação, disse Luttwak.
A melhor forma de fazer isso é garantir que as cargas de trabalho de produção usem apenas modelos de AI em formatos seguros, como os chamados safetensors. “Recomendamos que as equipes de segurança monitorem o uso de modelos inseguros e trabalhem com suas equipes de AI para fazer a transição para safetensors ou formatos similares,” ele diz.
Usar apenas formatos seguros de AI pode reduzir drasticamente a superfície de ataque, já que “esses formatos são projetados para impedir que os atacantes assumam a instância do modelo de AI,” diz Luttwak.
Além disso, provedores de nuvem que executam os modelos de seus clientes em um ambiente compartilhado devem aplicar práticas de isolamento de locatários para garantir que um potencial atacante que conseguiu executar um modelo malicioso não possa acessar os dados de outros clientes ou do serviço em si, acrescenta.