A polícia britânica de Avon e Somerset construiu um dos programas mais ambiciosos de análise preditiva do Reino Unido, reunindo dados sensíveis de quase meio milhão de pessoas na cidade de Bristol. Lançado em 2016 pelo conselho municipal de Bristol e pela polícia regional, o banco de dados Think Family armazena informações que incluem relatórios de inteligência policial, situação habitacional, registros de saúde mental, gravidez na adolescência, participação em cursos de parentalidade e refeições gratuitas na escola.
Sobre esses dados altamente pessoais, oficiais criaram modelos de aprendizado de máquina para atribuir pontuações de risco a milhares de adultos e crianças. O objetivo era construir o que chamavam de uma "imagem de ameaça, dano e risco" na região. Em um evento em início de 2022 para ajudar autoridades a combater crimes de exploração infantil, um cientista de dados da polícia descreveu a abordagem de forma direta: "Eu essencialmente joguei todos esses dados em um balde grande e misturei com uma espátula de ciência de dados, e saímos com uma linda pontuação de risco para todos."
A pontuação de risco dentro do banco de dados Think Family era apenas uma parte do extenso programa de análise preditiva da polícia de Avon e Somerset. Entre pelo menos 23 modelos separados criados pela força policial estavam algoritmos para identificar o risco de pessoas cometerem furtos, não comparecem ao tribunal, desaparecerem ou se tornarem vítimas de abuso doméstico. Um oficial sênior descreveu a criação de uma "tabela de classificação" dos criminosos mais perigosos da área, em referência aparente ao aplicativo de gestão de infratores, projetado para conter dados de cerca de 300 mil pessoas na região.
John Pegram, líder de um grupo de responsabilidade policial local em Bristol, afirma que só soube do aplicativo de gestão de infratores em 2023, anos após sua criação. Quando descobriu, começou a suspeitar que poderia estar incluído. "Achei que sabia que estava no aplicativo", lembra Pegram. Em início de 2024, Pegram protocolou um pedido para descobrir como a polícia estava usando seus dados. A polícia se recusou a informar. Meses depois, após Pegram contratar advogados para trabalhar em seu caso, a polícia confirmou que ele estava no aplicativo, mas declinou elaborar further.
A investigação, conduzida em parceria com a organização sem fins lucrativos Liberty Investigas, além do Bristol Cable e Lighthouse Reports, obteve centenas de páginas de documentação para construir o quadro mais abrangente até agora do experimento regional de Avon e Somerset com coleta de dados e análise preditiva.
A investigação revela que pelo menos dois desses modelos de pontuação de risco foram abandonas silenciosamente após funcionários do conselho municipal de Bristol concluírem que não podiam mais confiar neles. Documentos não publicados anteriormente mostram inspetores governamentais e revisores independentes destacando uma falta surpreendente de transparência sobre alguns elementos do programa e advertindo que os sistemas poderiam minar a confiança pública.
Dados policiais divulgados parecem mostrar, em alguns casos, "desempenho preditivo genuinamente pobre", segundo um analista independente que revisou os dados para a revista. A maioria desses modelos produz pontuações de baixa precisão, o que significa uma alta proporção de indivíduos identificados como riscos são incorretamente identificados.
Essas descobertas surgem enquanto o Reino Unido parece prestes a abraçar a análise preditiva e a inteligência artificial em todo o sistema de justiça criminal. Um rosto conhecido está ajudando a liderar a carga: o ex-chefe de polícia de Avon e Somerset, Andy Marsh, que agora dirige o órgão nacional de padronização para todas as forças da Inglaterra e País de Gales. Como presidente do College of Policing, Marsh declarou que a IA eficaz deveria ser "injetada como heroína" para acelerar o trabalho da polícia britânica.
Em 2014, a polícia de Avon e Somerset estava sob pressão em várias frentes. A força, como outras no Reino Unido, tinha visto seus orçamentos cortados. Seu chefe de polícia havia sido suspenso. Um relatório oficial destacou sua falha em seguir procedimentos para proteger algumas vítimas de abuso doméstico. Após a publicação desse relatório, o kepala de desempenho da força declarou: "Acreditamos que a análise preditiva é a solução."
Gary Davies, um ex-superintendente-chefe da polícia que havia se mudado para um cargo no conselho municipal de Bristol dois anos antes, pensava de maneira semelhante. Davies liderava uma equipe no conselho apoiando crianças e famílias. Quando as famílias estavam em crise, "era completamente óbvio", afirma. Era muito mais difícil identificar aquelas que estavam no topo de uma espiral descendente.
Davies acreditava que a resposta estava nos dados. A escola de uma criança poderia conter um registro de ausências crescentes, enquanto a polícia poderia saber se a criança havia testemunhado abuso doméstico pela primeira vez. Separadamente, esses dados podem não ser suficientes para desencadear uma intervenção dos serviços sociais. Mas juntos? "Se você pudesse ver o quadro completo, perceberia que a trajetória deles estava indo na direção errada", explica.
A equipe do Insight Bristol não buscou o consentimento dos moradores para usar seus dados no banco de dados Think Family. Em vez disso, Davies explica, a equipe confiou nas "portas legais" — um termo que descreve quando o compartilhamento de dados é considerado necessário para cumprir obrigações legais de uma agência, como a necessidade de proteger crianças.
A polícia de Avon e Somerset criou modelos de risco preditivo para o projeto. Um desses modelos visava identificar crianças em risco de exploração sexual. O modelo de exploração sexual infantil, como era conhecido, drew on a wide range de conjuntos de dados mantidos pela polícia, pelo conselho e por outras agências públicas. Barnardos, uma organização de proteção à infância, forneceu dados anonimizados envolvendo mil crianças conhecidas por terem sido sexualmente abusadas. O sistema analisava conexões sociais das crianças para determinar se estavam vinculadas a qualquer outra pessoa considerada vulnerável a exploração.
Os esforços da polícia para draw on uma gama tão ampla de dados levantaram preocupações precoces. Em 2018, pesquisadores do Data Justice Lab da Universidade de Cardiff revisaram vários programas de pontuação de cidadãos do Reino Unido, incluindo o trabalho em Bristol, observando que "as variáveis usadas podem na prática ser proxies para a pobreza".
Até 2021, segundo uma revisão do Insight Bristol em registros governamentais obtidos pela investigação, oficiais do Centro de Ética e Inovação em Dados (desde dissolvido) estavam ouvindo sobre "tensões éticas" associadas ao projeto. "Grandes quantidades de dados sensíveis" haviam entrado nas pontuações de risco, disseram os revisores, observando que foram coletados usando "portas legais" em vez de construir confiança com a população local. "Legalidade não é a mesma coisa que legitimidade", afirmaram.
Dois anos depois, a organização sem fins lucrativos Social Finance conduziu uma revisão independente do banco de dados Think Family e do trabalho de dados do Insight Bristol. A revisão de mais de 100 páginas descobriu que os modelos de pontuação de risco eram o "elemento mais fraco" do projeto, observando que uma "falta de precisão" minou seu potencial usefulness.
Funcionários do conselho levantaram dúvidas sobre os modelos projetados para avaliar risco de exploração sexual infantil e exploração criminal infantil. A revisão foi concluída aproximadamente no mesmo período em que o conselho parou de usar os modelos, que funcionários descreveram recentemente como "não adequados para uso operacional".
Quando os revisores da Social Finance quiseram conduzir seus próprios testes nos modelos de pontuação de risco, descobriram uma falta surpreendente de informações disponíveis. "Código fonte e variáveis que detalham como esses modelos foram criados não puderam ser encontrados, o que nos impediu de completar este elemento da avaliação", diz o relatório.
Rob Procter, professor de informática social da Universidade de Warwick, atuou como consultor especialista na revisão da Social Finance. "O processo para construir os modelos não foi documentado com detalhes nem próximos do suficiente", afirma. Para ele, o trabalho em Bristol ilustrou a necessidade crítica de transparência e debate público sobre os méritos dessa abordagem sempre que estiver sendo considerada.
Outros expressam preocupações semelhantes. Debbie Watson é professora de bem-estar infantil e familiar na Universidade de Bristol, onde lidera uma equipe pesquisando o projeto Think Family desde 2022. Watson diz ter preocupações sobre "danos históricos" que podem ter sido causados pelos modelos de pontuação de risco.
Quando John Pegram recebeu confirmação de que estava no aplicativo de gestão de infratores em 2024, lembra-se de pensar: "Já estive aqui antes, e sei o que vocês estão tentando fazer comigo."
Na adolescência, Pegram havia se acostumado com a atenção da polícia. Lembra-se de ter sido parado dezenas de vezes, algo que atribui a ser uma criança de raça mista em uma cidade predominantemente branca. Estava menos claro para ele por que havia terminado no aplicativo. Em um protesto antifascista em 2017 em Bristol, foi preso por atingir um policial no rosto. Embora o policial tenha concessionado que parecia ser um acidente, Pegram foi condenado por agressão.
Em resposta aos pedidos de registros públicos, a polícia de Avon e Somerset forneceu uma enorme quantidade de dados de desempenho para 13 modelos de risco usados entre 2017 e 2024. Esses dados foram analisados pela firma independente de auditoria de IA Eticas. O veredicto foi devastador.
"A maioria desses modelos produz pontuações de baixa precisão, o que significa uma alta proporção dos indivíduos que eles flag como riscos são incorretamente identificados", descobriu a revisão de dados. Um modelo usado para ajudar a prever furtos parecia operar com uma classificação de precisão inferior a 10% por mais de três anos, segundo os dados policiais.
A análise também observou preocupações com métricas de desempenho para vários modelos mudando drasticamente. "Isso não é típico de modelos bem governados em uso operacional", observou a auditoria.
A polícia de Avon e Somerset escolheu não implementar alguns dos modelos que desenvolveu, incluindo o relacionado a furtos. Os dados mais recentes de auditoria da polícia, fornecidos em julho do ano passado, indicam que o modelo usado pelo aplicativo de gestão de infratores prevê corretamente apenas uma em três pessoas que realmente cometem crimes, enquanto uma em quatro pessoas flag como prováveis infratores não cometem.
Pegram quer seus detalhes removidos do aplicativo, mas também quer que a polícia de Avon e Somerset abandone o programa inteiramente. "Não sou apenas eu", afirma. "Não acho que um modelo de IA deve ter esse tipo de poder sobre a vida das pessoas."
Mas a direção do movimento parece clara. O governo do Reino Unido acabou de criar o PoliceAI, um órgão apoiado por 75 milhões de libras que ayudará a implementar várias ferramentas de IA para 43 forças policiais na Inglaterra e País de Gales. O grupo é hospedado pelo College of Policing, liderado por Andy Marsh. Ao lançar o projeto neste mês, a ministra da polícia do Reino Unido, Sarah Jones, declarou: "Este é o futuro da polícia — e está acontecendo agora."
Fonte: Feed: All Latest
