Pesquisadores de cibersegurança descobriram uma falha de segurança crítica em um provedor de inteligência artificial como serviço chamado Replicate, que poderia ter permitido que criminosos virtuais obtivessem acesso a modelos AI proprietários e informações sensíveis.
A vulnerabilidade teria permitido acesso não autorizado aos prompts de AI e aos resultados de todos os clientes da plataforma Replicate, de acordo com um relatório publicado pela empresa de segurança em nuvem Wiz.
A vulnerabilidade decorre do fato de que os modelos AI são normalmente empacotados em formatos que permitem a execução de código arbitrário, o que um atacante poderia usar para realizar ataques entre inquilinos por meio de um modelo malicioso.
Replicate utiliza uma ferramenta de código aberto chamada Cog para containerizar e empacotar modelos de machine learning que podem então ser implantados tanto em um ambiente auto-hospedado quanto na própria Replicate.
Os pesquisadores criaram um contêiner Cog falsificado e o enviaram para a Replicate, empregando-o eventualmente para executar código remotamente na infraestrutura do serviço com privilégios elevados.
Um ataque desse tipo então alavancou uma conexão TCP já estabelecida associada a uma instância do servidor Redis dentro do cluster Kubernetes hospedado na Google Cloud Platform para injetar comandos arbitrários.
Além disso, com o servidor Redis centralizado sendo usado como fila para gerenciar várias solicitações de clientes e suas respostas, os pesquisadores descobriram que poderia ser explorado para facilitar ataques entre inquilinos, manipulando o processo a fim de inserir tarefas falsas que poderiam impactar os resultados dos modelos de outros clientes.
Essas manipulações falsas não apenas ameaçam a integridade dos modelos AI, mas também representam riscos significativos para a precisão e confiabilidade das saídas impulsionadas pela AI.
A falha, que foi divulgada de forma responsável em janeiro de 2024, foi corrigida pela Replicate. Não há evidências de que a vulnerabilidade tenha sido explorada para comprometer dados dos clientes.
A divulgação ocorre pouco mais de um mês depois que a Wiz detalhou riscos agora corrigidos em plataformas como Hugging Face que poderiam permitir que criminosos virtuais escalassem privilégios, obtivessem acesso entre inquilinos aos modelos de outros clientes e até assumissem os pipelines de integração e implantação contínuas (CI/CD).
“Modelos maliciosos representam um grande risco para sistemas de AI, especialmente para provedores de inteligência artificial como serviço, pois os atacantes podem aproveitar esses modelos para realizar ataques entre inquilinos”, concluíram os pesquisadores.
“O impacto potencial é devastador, pois os atacantes podem acessar milhões de modelos de AI privados e aplicativos armazenados nos provedores de AI como serviço.”
