Pesquisadores de cibersegurança descobriram uma falha crítica de segurança em um provedor de inteligência artificial (IA)-como-serviço Replicate que poderia ter permitido que atores mal-intencionados tivessem acesso a modelos de IA proprietários e informações sensíveis.

“A exploração dessa vulnerabilidade teria permitido o acesso não autorizado aos prompts de IA e aos resultados de todos os clientes da plataforma Replicate”, disse a empresa de segurança na nuvem Wiz em um relatório publicado esta semana.

O problema decorre do fato de que os modelos de IA são normalmente empacotados em formatos que permitem a execução de código arbitrário, que um atacante poderia usar para realizar ataques entre inquilinos por meio de um modelo malicioso.

Replicate faz uso de uma ferramenta de código aberto chamada Cog para containerizar e empacotar modelos de aprendizado de máquina que podem então ser implantados em um ambiente auto-hospedado ou no Replicate.

Wiz disse que criou um contêiner Cog falso e o enviou para Replicate, usando-o finalmente para obter a execução de código remoto na infraestrutura do serviço com privilégios elevados.

“Consideramos que essa técnica de execução de código é um padrão, onde empresas e organizações executam modelos de IA de fontes não confiáveis, mesmo que esses modelos sejam códigos que possam ser potencialmente maliciosos”, disseram os pesquisadores de segurança Shir Tamari e Sagi Tzadik.

A técnica de ataque elaborada pela empresa então aproveitou uma conexão TCP já estabelecida associada a uma instância de servidor Redis dentro do cluster Kubernetes hospedado na Plataforma Google Cloud para injetar comandos arbitrários.

Além disso, com o servidor Redis centralizado sendo usado como uma fila para gerenciar múltiplos pedidos de clientes e suas respostas, os pesquisadores descobriram que isso poderia ser usado para facilitar ataques entre inquilinos, manipulando o processo para inserir tarefas fraudulentas que podem afetar os resultados dos modelos de outros clientes.

Essas manipulações fraudulentas não apenas ameaçam a integridade dos modelos de IA, mas também representam riscos significativos para a precisão e confiabilidade das saídas impulsionadas por IA.

“Um atacante poderia ter acessado os modelos de IA privados dos clientes, potencialmente expondo conhecimentos proprietários ou dados sensíveis envolvidos no processo de treinamento do modelo”, disseram os pesquisadores. “Além disso, a interceptação de prompts poderia ter exposto dados sensíveis, incluindo informações pessoais identificáveis (PII).

A lacuna, que foi divulgada de forma responsável em janeiro de 2024, foi corrigida desde então pela Replicate. Não há evidências de que a vulnerabilidade tenha sido explorada para comprometer dados dos clientes.

A divulgação ocorre pouco mais de um mês depois que a Wiz detalhou riscos agora corrigidos em plataformas como Hugging Face que poderiam permitir que atores mal-intencionados escalassem privilégios, ganhassem acesso entre inquilinos aos modelos de outros clientes e até mesmo assumissem os pipelines de integração e implantação contínua (CI/CD).

“Modelos maliciosos representam um grande risco para sistemas de IA, especialmente para provedores de IA como serviço, porque os atacantes podem aproveitar esses modelos para realizar ataques entre inquilinos”, concluíram os pesquisadores.

“O impacto potencial é devastador, pois os atacantes podem acessar os milhões de modelos e aplicativos de IA privados armazenados nos provedores de IA como serviço”.