Em resposta ao pedido de Informação da WIRED, a TfL diz que utilizou imagens existentes de CCTV, algoritmos de IA e “numerosos modelos de detecção” para identificar padrões de comportamento. “Ao fornecer aos funcionários da estação insights e notificações sobre o movimento e comportamento dos clientes, eles esperam poder responder a qualquer situação com mais rapidez”, diz a resposta. Também diz que o teste proporcionou insights sobre a evasão de tarifas que irão “nos ajudar em nossas abordagens e intervenções futuras”, e os dados coletados estão de acordo com suas políticas de dados.

Em uma declaração enviada após a publicação deste artigo, Mandy McGregor, chefe de política e segurança comunitária da TfL, diz que os resultados do teste estão sendo continuamente analisados e acrescenta que “não houve evidências de viés” nos dados coletados do teste. Durante o teste, McGregor diz, não havia sinais na estação que mencionassem os testes das ferramentas de vigilância de IA.

“Estamos considerando atualmente o design e o escopo de uma segunda fase do teste. Nenhuma outra decisão foi tomada sobre a expansão do uso desta tecnologia, seja para outras estações ou adicionando capacidade”, diz McGregor. “Qualquer implementação mais ampla da tecnologia além de um piloto dependeria de uma consulta completa com as comunidades locais e outras partes interessadas relevantes, incluindo especialistas no campo”.

Sistemas de visão computacional, como os utilizados no teste, funcionam tentando detectar objetos e pessoas em imagens e vídeos. Durante o teste em Londres, algoritmos treinados para detectar certos comportamentos ou movimentos foram combinados com imagens das câmeras de CCTV de 20 anos da estação de metrô – analisando imagens a cada décimo de segundo. Quando o sistema detectava um dos 11 comportamentos ou eventos identificados como problemáticos, emitia um alerta para os iPads dos funcionários da estação ou para um computador. Os funcionários da TfL receberam 19.000 alertas para possíveis ações e mais 25.000 guardados para fins analíticos, dizem os documentos.

As categorias que o sistema tentava identificar eram: movimento de multidão, acesso não autorizado, proteção, assistência à mobilidade, crime e comportamento antissocial, pessoa na via, pessoas feridas ou doentes, perigos como lixo ou pisos molhados, itens abandonados, clientes abandonados e evasão de tarifas. Cada uma tem várias subcategorias.

Daniel Leufer, um analista sênior de políticas do grupo de direitos digitais Access Now, diz que sempre que vê um sistema fazendo esse tipo de monitoramento, a primeira coisa que procura é se está tentando identificar agressão ou crime. “As câmeras fazem isso identificando a linguagem corporal e o comportamento”, diz ele. “Com que tipo de conjunto de dados você vai treinar algo assim?”

O relatório da TfL sobre o teste diz que “queria incluir atos de agressão”, mas constatou que era “incapaz de detectá-los com sucesso”. Acrescenta que houve uma falta de dados de treinamento – outros motivos para não incluir atos de agressão foram censurados. Em vez disso, o sistema emitia um alerta quando alguém levantava os braços, descrito como um “comportamento comum associado a atos de agressão” nos documentos.

“Os dados de treinamento são sempre insuficientes porque essas coisas são argumentavelmente muito complexas e nuances para serem capturadas adequadamente nos conjuntos de dados com as nuances necessárias”, diz Leufer, observando que é positivo que a TfL tenha reconhecido que não tinha dados de treinamento suficientes. “Estou extremamente cético em relação à utilização de sistemas de aprendizagem de máquina para detectar de forma confiável a agressão de uma maneira que não esteja simplesmente replicando os preconceitos existentes da sociedade sobre que tipo de comportamento é aceitável em espaços públicos.” Houve um total de 66 alertas para comportamento agressivo, incluindo dados de teste, de acordo com os documentos recebidos pela WIRED.