Pesquisadores de segurança cibernética descobriram uma falha crítica de segurança em um provedor de inteligência artificial como serviço (AIaaS) Replicate que poderia ter permitido que atores maliciosos ganhassem acesso a modelos de AI proprietários e informações sensíveis.
“A exploração dessa vulnerabilidade teria permitido o acesso não autorizado às instruções de AI e aos resultados de todos os clientes da plataforma Replicate,” disse a empresa de segurança na nuvem Wiz em um relatório publicado esta semana.
O problema decorre do fato de que os modelos de AI geralmente são empacotados em formatos que permitem a execução de código arbitrário, o que um atacante poderia usar para realizar ataques entre inquilinos por meio de um modelo malicioso.
Replicate faz uso de uma ferramenta de código aberto chamada Cog para containerizar e empacotar modelos de machine learning que podem então ser implantados em um ambiente auto-hospedado ou na Replicate.
Wiz disse que criou um contêiner Cog rogue e o enviou para a Replicate, acabando por empregá-lo para alcançar a execução remota de código na infraestrutura do serviço com privilégios elevados.
“Suspeitamos que essa técnica de execução de código é um padrão, onde empresas e organizações executam modelos de AI de fontes não confiáveis, embora esses modelos sejam códigos que poderiam potencialmente ser maliciosos,” disseram os pesquisadores de segurança.
A técnica de ataque, então, aproveitou uma conexão TCP já estabelecida associada a uma instância de servidor Redis dentro do cluster Kubernetes hospedado na Google Cloud Platform para injetar comandos arbitrários.
Além disso, com o servidor Redis centralizado sendo usado como uma fila para gerenciar múltiplas solicitações de clientes e suas respostas, os pesquisadores descobriram que ele poderia ser abusado para facilitar ataques entre inquilinos, interferindo no processo para inserir tarefas maliciosas que poderiam impactar os resultados de outros modelos de clientes.
Essas manipulações maliciosas não apenas ameaçam a integridade dos modelos de AI, mas também representam riscos significativos para a precisão e confiabilidade das saídas impulsionadas por AI.
“Um atacante poderia ter consultado os modelos privados de AI dos clientes, potencialmente expondo conhecimento proprietário ou dados sensíveis envolvidos no processo de treinamento do modelo,” disseram os pesquisadores. “Além disso, a interceptação de prompts poderia ter exposto dados sensíveis, incluindo informações pessoais identificáveis (PII).”
A falha, que foi divulgada de forma responsável em janeiro de 2024, foi desde então corrigida pela Replicate. Não há evidências de que a vulnerabilidade tenha sido explorada na natureza para comprometer dados dos clientes.
A divulgação ocorre pouco mais de um mês após a Wiz detalhar riscos agora corrigidos em plataformas como Hugging Face que poderiam permitir que atores maliciosos escalassem privilégios, ganhassem acesso entre inquilinos a modelos de outros clientes e até assumissem os pipelines de integração contínua e implantação contínua (CI/CD).
“Modelos maliciosos representam um grande risco para sistemas de AI, especialmente para provedores de AIaaS, porque os atacantes podem usar esses modelos para realizar ataques entre inquilinos,” concluíram os pesquisadores.
“O impacto potencial é devastador, pois os atacantes podem ser capazes de acessar milhões de modelos de AI e aplicativos privados armazenados dentro de provedores de AI como serviço.”
