Uma vulnerabilidade crítica na plataforma Replicate AI poderia permitir que atacantes executassem um modelo de AI malicioso dentro da plataforma para um ataque entre inquilinos – permitindo acesso aos modelos de AI privados dos clientes e potencialmente expondo conhecimento proprietário ou dados sensíveis.
Pesquisadores da Wiz descobriram a falha como parte de uma série de parcerias com provedores de AI-as-a-service para investigar a segurança de suas plataformas. A descoberta da falha demonstra a dificuldade da separação de inquilinos em soluções de AI-as-a-service, especialmente em ambientes que executam modelos de AI de fontes não confiáveis.
“A exploração dessa vulnerabilidade teria permitido o acesso não autorizado aos prompts e resultados de AI de todos os clientes da plataforma Replicate,” e potencialmente alterar esses resultados, escreveram Shir Tamari e Sagi Tzadik da Wiz em um post no blog publicado hoje. Anteriormente, os pesquisadores da Wiz encontraram falhas que levaram a um resultado semelhante na plataforma de AI HuggingFace.
“Como vimos nos resultados de nosso trabalho com Hugging Face e agora com Replicate, dois dos principais provedores de AI-as-a-service, ao executar modelos de AI em ambientes de nuvem, é crucial lembrar que modelos de AI são na verdade códigos,” diz Ami Luttwak, CTO e co-fundador da Wiz, ao Dark Reading. “Assim como todo código, a origem deve ser verificada e escaneada para possíveis payloads maliciosos.”
De fato, a falha apresenta uma ameaça imediata para os provedores de AI-as-a-service, que muitas vezes permitem que seus clientes executem códigos não confiáveis na forma de modelos de AI em ambientes compartilhados – onde estão os dados de outros clientes. Também pode impactar equipes de AI, que podem ser afetadas quando adotam modelos de AI de fontes não confiáveis e os executam em suas estações de trabalho ou servidores da empresa, observaram os pesquisadores.
A Wiz Research divulgou responsavelmente a vulnerabilidade ao fornecedor de compartilhamento de modelos de AI Replicate em janeiro de 2023; a empresa prontamente mitigou a falha para que nenhum dado do cliente fosse comprometido. Neste momento, nenhuma outra ação é necessária pelos clientes.
A exploração da falha reside em alcançar a execução de código remoto na plataforma Replicate criando um contêiner malicioso no formato Cog, que é um formato proprietário usado para containerizar modelos no Replicate. Após containerizar um modelo usando Cog, os usuários podem fazer upload da imagem resultante para a plataforma Replicate e começar a interagir com ela.
Os pesquisadores da Wiz criaram um contêiner Cog malicioso e enviaram para a plataforma e, com privilégios de root, o usaram para executar código na infraestrutura do Replicate.
“Suspeitamos que essa técnica de execução de código seja um padrão, onde empresas e organizações executam modelos de AI de fontes não confiáveis, mesmo que esses modelos sejam códigos potencialmente maliciosos,” escreveram os pesquisadores no post. Uma técnica semelhante foi usada para explorar falhas encontradas na plataforma HuggingFace.
Essa exploração permitiu que os pesquisadores investigassem o ambiente, se movessem lateralmente e, por fim, saindo do nó em que estavam sendo executados, que estava dentro de um cluster Kubernetes hospedado na Google Cloud Platform. Embora o processo fosse desafiador, eles conseguiram realizar um ataque entre inquilinos que lhes permitiu consultar outros modelos e até modificar a saída desses modelos.
“A exploração dessa vulnerabilidade teria representado riscos significativos tanto para a plataforma Replicate quanto para seus usuários,” escreveram os pesquisadores. “Um atacante poderia ter consultado os modelos de AI privados dos clientes, potencialmente expondo conhecimento proprietário ou dados sensíveis envolvidos no processo de treinamento do modelo. Além disso, a interceptação de prompts poderia ter exposto dados sensíveis, incluindo informações de identificação pessoal (PII).”
De fato, essa capacidade de alterar prompts e respostas de um modelo de AI representa uma ameaça severa para a funcionalidade de aplicações de AI, fornecendo aos atacantes uma maneira de manipular o comportamento de AI e comprometer os processos de tomada de decisão desses modelos.
“Tais ações ameaçam diretamente a precisão e confiabilidade das saídas impulsionadas por AI, minando a integridade das decisões automatizadas e potencialmente tendo consequências de longo alcance para usuários dependentes dos modelos comprometidos,” escreveram os pesquisadores.
Atualmente, não há uma maneira fácil de validar a autenticidade de um modelo ou escaneá-lo em busca de ameaças, então modelos de AI maliciosos representam uma nova superfície de ataque que requer outras formas de mitigação, diz Luttwak.
A melhor forma de fazer isso é garantir que as cargas de trabalho de produção usem apenas modelos de AI em formatos seguros, como os chamados safetensors. “Recomendamos que as equipes de segurança monitorem o uso de modelos inseguros e trabalhem com suas equipes de AI para fazer a transição para safetensors ou formatos similares,” diz ele.
Usar apenas formatos seguros de AI pode reduzir drasticamente a superfície de ataque, já que “esses formatos são projetados para impedir que os atacantes assumam a instância do modelo de AI,” diz Luttwak.
Além disso, os provedores de nuvem que executam os modelos de seus clientes em um ambiente compartilhado devem impor práticas de isolamento de inquilinos para garantir que um possível atacante que tenha conseguido executar um modelo malicioso não possa acessar os dados de outros clientes ou o próprio serviço, acrescenta ele.
