A OpenAI identificou e perturbou cinco operações de influência usando suas ferramentas de inteligência artificial (IA) de alguma forma.
As várias operações – da China, Irã, Israel e duas da Rússia – focaram em espalhar mensagens políticas. Como relata a OpenAI, elas principalmente utilizaram IA para gerar textos, como postagens em redes sociais e comentários.
No entanto, nenhuma delas foi particularmente eficaz. Na Escala de Impacto do Brookings, que mede o impacto das operações de influência em uma escala de 1 a 6, nenhuma pontuou mais que 2. Uma pontuação de 1 significa que a campanha se espalhou apenas dentro de uma comunidade ou plataforma, enquanto um 6 significa desencadear uma resposta política ou outra forma de ação concreta, como violência. O número 2 significa que a operação se espalhou por várias comunidades em uma plataforma, ou uma comunidade em várias plataformas.
O estado atual das operações de influência orientadas por IA
As operações de influência em questão, embora geograficamente diversas, eram bastante semelhantes na natureza.
Entre as mais notórias está a “Spamouflage”, da China. Ela usou as ferramentas da OpenAI para depurar seu código, pesquisar a atividade nas redes sociais e postar conteúdo no X, Medium e Blogspot em vários idiomas.
“Bad Grammar”, uma ameaça recém-descoberta da Rússia, operou principalmente no Telegram, mirando indivíduos na Europa Oriental e nos Estados Unidos. Ela também utilizou a IA para depurar o código que empregava para executar um bot do Telegram e escrever comentários políticos no Telegram em russo e inglês.
Um segundo grupo russo, “Doppelganger”, usou a IA para postar comentários no X e no 9GAG em cinco idiomas europeus, além de gerar manchetes e traduzir, editar e converter artigos de notícias em postagens no Facebook.
Uma entidade iraniana, conhecida como União Internacional da Mídia Virtual (IUVM), usou a IA para gerar e traduzir artigos, bem como manchetes e tags de site para seu site.
Por fim, há o “Zero Zeno”, uma operação dirigida pela Stoic, uma empresa de marketing político e inteligência de negócios sediada em Tel Aviv. A Stoic usou a OpenAI para gerar artigos e comentários para Instagram, Facebook, X e outros sites.
A Stoic também chamou recentemente atenção da Meta. Em seu último “Relatório de Ameaças Adversárias”, a Meta relatou ter derrubado 510 contas no Facebook, 32 contas no Instagram, 11 páginas e um grupo associado à empresa. Apenas cerca de 2.000 contas seguiam suas várias contas no Instagram. Cerca de 500 contas seguiam suas páginas no Facebook e menos de 100 ingressaram em seu grupo no Facebook.
No geral, embora úteis como estudos de caso, essas campanhas não serão perdidas por muitos.
“Campanhas baseadas em texto são amplamente ineficazes”, diz Jake Williams, ex-hacker da NSA e membro do corpo docente da IANS Research, “porque a IA generativa só ajuda a escalar essas operações de desinformação onde as pessoas estão lendo conteúdo, algo que está se tornando cada vez mais raro, especialmente em sites sem significativa reputação. Acho que a maioria das pessoas percebe que não se pode confiar em tudo o que se lê na Internet neste ponto.”
Por que a tecnologia não pode parar as operações de desinformação
Para combater um maior uso indevido de IA, a OpenAI escreveu em um relatório mais detalhado que está colaborando com parceiros do setor e usando atividades ameaçadoras para projetar plataformas mais seguras para os usuários. A empresa também “investe em tecnologia e equipes para identificar e interromper atores como os que estamos discutindo aqui, incluindo o uso de ferramentas de IA para ajudar a combater abusos.”
A Dark Reading entrou em contato com a OpenAI para esclarecer o que exatamente faz para perturbar e combater atores maliciosos, mas ainda não recebeu resposta.
Em última análise, bloquear o conteúdo falso online é mais tecnicamente complexo do que muitos percebem.
“Um dos maiores desafios aqui é que soluções confiáveis para detecção ainda não existem”, explica Naushad UzZaman, CTO e co-fundador da Blackbird.AI. “Elas também são improváveis de existir no futuro. Já houve muitos casos de aplicações de detecção de texto gerado ‘state-of-the-art’ sendo usadas para punir estudantes. Mas muitos desses resultados são falsos. O problema é que a taxa de falsos positivos desses detectores é muito alta. Eles sinalizam muitas instâncias de texto real.”
“A situação também é improvável de melhorar no futuro por duas razões”, continua. “Primeiro, qualquer detector confiável de conteúdo falso pode ser usado para criar dados de treinamento para melhorar o realismo do gerador de conteúdo falso. Segundo, a melhor maneira de criar um detector de conteúdo falso é realmente treinar um gerador de conteúdo falso poderoso e depois usá-lo para detecção. Por essas duas vias, qualquer esforço para construir detectores de conteúdo falso melhores levará a geradores de conteúdo falso melhores.”
Williams concorda com o sentimento. “Não podemos contar com soluções técnicas aqui. Mesmo marcas d’água digitais são facilmente contornadas. Este é um problema de política habilitada pela tecnologia, onde infelizmente a tecnologia não será eficaz para enfrentá-lo”, diz.
