Em resposta ao pedido de Informações da WIRED, a TfL diz que usou imagens existentes de CCTV, algoritmos de IA e “vários modelos de detecção” para identificar padrões de comportamento. “Ao fornecer insights e notificações aos funcionários da estação sobre movimentação e comportamento dos clientes, eles poderão, esperamos, responder a situações com mais rapidez”, diz a resposta. Também afirma que o teste forneceu insights sobre evasão de tarifas que irão “nos ajudar em nossas abordagens e intervenções futuras”, e os dados coletados estão de acordo com suas políticas de dados.
Em uma declaração enviada após a publicação deste artigo, Mandy McGregor, chefe de política e segurança comunitária da TfL, diz que os resultados do teste estão sendo continuamente analisados e acrescenta que “não houve evidências de viés” nos dados coletados durante o teste. Durante o teste, McGregor afirma que não havia sinais na estação mencionando os testes de ferramentas de vigilância por IA.
“Estamos considerando atualmente o design e escopo de uma segunda fase do teste. Nenhuma outra decisão foi tomada sobre a expansão do uso dessa tecnologia, seja para mais estações ou para adicionar capacidades”, afirma McGregor. “Qualquer ampliação da tecnologia além de um teste piloto dependeria de uma consulta completa com as comunidades locais e outras partes interessadas relevantes, incluindo especialistas no campo.”
Sistemas de visão computacional, como os usados no teste, funcionam tentando detectar objetos e pessoas em imagens e vídeos. Durante o teste em Londres, algoritmos treinados para detectar determinados comportamentos foram combinados com imagens das câmeras de CCTV de 20 anos da estação subterrânea – analisando imagens a cada décimo de segundo. Quando o sistema detectava um dos 11 comportamentos ou eventos identificados como problemáticos, emitia um alerta para os iPads dos funcionários da estação ou para um computador. Os funcionários da TfL receberam 19.000 alertas para potencialmente atuar e outros 25.000 foram mantidos para fins analíticos, dizem os documentos.
As categorias que o sistema tentava identificar eram: movimentação de multidão, acesso não autorizado, assistência à mobilidade, crime e comportamento antissocial, pessoa na via, pessoas feridas ou doentes, perigos como lixo ou pisos molhados, itens não atendidos, clientes em situação de dificuldade e evasão de tarifas. Cada uma tem várias subcategorias.
Daniel Leufer, analista de políticas sênior do grupo de direitos digitais Access Now, diz que sempre que vê um sistema fazendo esse tipo de monitoramento, a primeira coisa que procura é se está tentando identificar agressão ou crime. “As câmeras farão isso ao identificar a linguagem corporal e o comportamento”, diz ele. “Que tipo de conjunto de dados você terá para treinar algo assim?”
O relatório da TfL sobre o teste diz que “queria incluir atos de agressão” mas descobriu que “não conseguiu detectá-los com sucesso”. Acrescenta que havia uma falta de dados de treinamento – outras razões para não incluir atos de agressão foram censuradas. Em vez disso, o sistema emitia um alerta quando alguém levantava os braços, descrito como um “comportamento comum ligado a atos de agressão” nos documentos.
“Os dados de treinamento são sempre insuficientes porque essas coisas são, em argumento, muito complexas e nuances para serem capturadas corretamente em conjuntos de dados com as nuances necessárias”, diz Leufer, observando que é positivo que a TfL tenha reconhecido não ter dados de treinamento suficientes. “Estou extremamente cético sobre se os sistemas de aprendizado de máquina podem ser usados para detectar agressões de maneira confiável, sem simplesmente replicar os preconceitos sociais existentes sobre qual tipo de comportamento é aceitável em espaços públicos”. Houve um total de 66 alertas para comportamento agressivo, incluindo dados de teste, de acordo com os documentos recebidos pela WIRED.
