Pesquisadores de segurança cibernética descobriram uma falha crítica de segurança em um provedor de inteligência artificial (IA)-como-serviço chamado Replicate, que poderia ter permitido que criminosos cibernéticos obtivessem acesso a modelos de IA proprietários e informações sensíveis.

A questão decorre do fato de que os modelos de IA costumam ser embalados em formatos que permitem a execução de código arbitrário, o que um atacante poderia utilizar para realizar ataques entre inquilinos por meio de um modelo malicioso.

Replicate utiliza uma ferramenta de código aberto chamada Cog para containerizar e empacotar modelos de aprendizado de máquina que podem ser implantados em um ambiente auto-hospedado ou no próprio Replicate.

Os pesquisadores de segurança Shir Tamari e Sagi Tzadik afirmaram que a técnica de ataque desenvolvida pela empresa foi capaz de aproveitar uma conexão TCP já estabelecida associada a uma instância de servidor Redis dentro do cluster Kubernetes hospedado na Google Cloud Platform para injetar comandos arbitrários.

Além disso, com o servidor Redis centralizado sendo usado como fila para gerenciar múltiplos pedidos de clientes e suas respostas, os pesquisadores descobriram que ele poderia ser abusado para facilitar ataques entre inquilinos, manipulando o processo para inserir tarefas maliciosas que poderiam afetar os resultados de modelos de outros clientes.

Essas manipulações prejudiciais não apenas ameaçam a integridade dos modelos de IA, mas também representam riscos significativos para a precisão e confiabilidade das saídas orientadas por IA.

A falha, divulgada de forma responsável em janeiro de 2024, já foi corrigida pela Replicate. Não há evidências de que a vulnerabilidade tenha sido explorada para comprometer dados de clientes.

A divulgação vem pouco mais de um mês após a Wiz detalhar riscos agora corrigidos em plataformas como Hugging Face que poderiam permitir que criminosos cibernéticos aumentassem privilégios, obtivessem acesso entre inquilinos aos modelos de outros clientes e até assumissem os pipelines de integração contínua e implantação contínua (CI/CD).

“Modelos maliciosos representam um grande risco para sistemas de IA, especialmente para provedores de IA como serviço, pois os atacantes podem aproveitar esses modelos para realizar ataques entre inquilinos”, concluíram os pesquisadores.

“O impacto potencial é devastador, pois os atacantes podem acessar os milhões de modelos e aplicativos de IA privados armazenados nos provedores de IA como serviço.”