Table of Contents
Una fuerza policial de Reino Unido desarrolló durante varios años un amplio sistema de análisis de datos para intentar predecir quién podía cometer un delito, convertirse en víctima, desaparecer o estar en riesgo de explotación.
Sin embargo, una investigación periodística encontró que algunos de esos modelos presentaban resultados poco confiables, baja precisión, documentación incompleta y graves problemas de transparencia.
El programa fue desarrollado por la Policía de Avon y Somerset junto con el Ayuntamiento de Bristol y otras instituciones públicas. En total, la fuerza creó al menos 23 modelos predictivos para evaluar distintos tipos de riesgo.
Entre ellos se encontraban algoritmos para identificar:
- Personas con posibilidad de cometer robos.
- Individuos que podían reincidir.
- Personas que podrían no acudir a una audiencia judicial.
- Menores en riesgo de explotación sexual o criminal.
- Personas que podían desaparecer.
- Posibles víctimas de violencia doméstica.
- Individuos relacionados con conductas antisociales.
Una investigación de WIRED, Liberty Investigates, Bristol Cable y Lighthouse Reports concluyó que al menos dos de los modelos fueron abandonados después de que trabajadores municipales dejaran de confiar en sus resultados.
Una base de datos con información de casi medio millón de personas
Una de las piezas centrales del sistema fue la llamada Think Family Database, creada en 2016 por el Ayuntamiento de Bristol y la Policía de Avon y Somerset.
La base contenía registros de cerca de medio millón de personas residentes en Bristol.
La información recopilada podía incluir:
- Reportes e inteligencia policial.
- Situación habitacional.
- Problemas de salud mental.
- Embarazos adolescentes.
- Participación en cursos para padres.
- Asistencia escolar.
- Ayudas para vivienda.
- Deudas de alquiler.
- Acceso a comidas escolares gratuitas.
- Intervenciones de servicios sociales.
- Casos de violencia doméstica.
Sobre esos datos se construyeron modelos de aprendizaje automático que asignaban puntuaciones de riesgo a adultos y menores.
El objetivo declarado era ofrecer a policías, trabajadores sociales y autoridades una visión más completa de las amenazas, daños y vulnerabilidades existentes en la región.
Los ciudadanos no dieron su consentimiento directo
El equipo que creó la Think Family Database no solicitó el consentimiento individual de cada residente para reunir su información.
Las instituciones argumentaron que utilizaban mecanismos legales que permiten compartir datos cuando una autoridad necesita cumplir funciones públicas, como proteger a menores o prevenir daños.
Esto significa que la base podía ser legal bajo ciertas disposiciones, pero investigadores y revisores advirtieron que cumplir la ley no garantiza necesariamente que el sistema sea considerado legítimo o aceptable por la comunidad.
Durante sus primeros años, los habitantes tampoco podían solicitar fácilmente su exclusión. Posteriormente, el Ayuntamiento incorporó una opción para rechazar el uso de determinados datos mediante comunicaciones fiscales.
¿Cómo calculaban el riesgo de explotación infantil?
Uno de los modelos fue diseñado para identificar a menores en riesgo de explotación sexual infantil.
El algoritmo comparaba información de los niños con datos anonimizados de aproximadamente mil menores que habían sufrido abuso sexual y que fueron proporcionados por la organización Barnardo’s.
El modelo analizaba factores como:
- Ausencias frecuentes de la escuela.
- Problemas de salud mental.
- Intervenciones de servicios sociales.
- Relaciones con personas consideradas vulnerables.
- Conexiones con posibles agresores.
- Situaciones familiares complejas.
Otro modelo buscaba detectar explotación criminal infantil y consideraba datos como la recepción de ayudas de vivienda, atrasos en el pago del alquiler o el acceso a comidas escolares gratuitas.
Estos indicadores generaron críticas debido a que podían funcionar como sustitutos indirectos de la pobreza y aumentar la vigilancia sobre familias de bajos recursos.
Algunos algoritmos confirmaban lo que ya se sabía
Gary Davies, quien encabezó el equipo Insight Bristol, explicó que numerosos menores con las puntuaciones más altas ya eran conocidos por trabajadores sociales.
Esto significaba que, en lugar de descubrir casos ocultos, algunos modelos simplemente repetían información que los profesionales ya manejaban.
Los algoritmos podían ordenar a los menores según su nivel de riesgo, pero su utilidad práctica era limitada si los primeros nombres de la lista correspondían a familias que ya recibían atención.
Con el tiempo, trabajadores sociales también comenzaron a considerar que los resultados eran cada vez menos precisos.
Dos modelos fueron considerados inadecuados
Una revisión independiente realizada por la organización Social Finance calificó los modelos de puntuación de riesgo como el elemento más débil del proyecto.
Los trabajadores del Ayuntamiento expresaron dudas especialmente sobre los algoritmos para detectar:
- Explotación sexual infantil.
- Explotación criminal infantil.
Algunos funcionarios señalaron que menores que habían sido víctimas recientes aparecían con puntuaciones inferiores a personas relacionadas con delitos sin conexión directa con la explotación.
Otros dijeron que no se sentían cómodos utilizando las puntuaciones para tomar decisiones porque no entendían de dónde procedían los números ni cómo se había desarrollado el sistema.
Ambos modelos dejaron de utilizarse alrededor de 2023 después de ser descritos como inadecuados para uso operativo.
La reducción de datos empeoró los resultados
Los modelos infantiles habían utilizado inicialmente información combinada del Ayuntamiento, la policía y otras instituciones públicas.
Posteriormente, la Policía de Avon y Somerset buscó utilizar el mismo sistema en cinco áreas municipales diferentes.
Sin embargo, no consiguió cerrar todos los acuerdos necesarios para compartir datos con las demás autoridades.
Como consecuencia, los modelos comenzaron a depender principalmente de registros policiales, perdiendo información social, educativa y familiar que anteriormente formaba parte de sus cálculos.
Trabajadores municipales dijeron que, después de ese cambio, algunos menores que debían aparecer como vulnerables dejaron de ser identificados por el sistema.
Revisores no encontraron el código ni las variables
Cuando Social Finance intentó evaluar de manera independiente los algoritmos, descubrió que no estaban disponibles el código fuente ni los documentos que explicaban detalladamente las variables utilizadas.
La ausencia de esa información impidió reproducir el funcionamiento de los modelos y comprobar cómo generaban sus resultados.
Tampoco se encontraron registros suficientes que explicaran con precisión quién decidió suspender los modelos infantiles, por qué se tomó la decisión o qué evaluación final se realizó.
Expertos consultados señalaron que un sistema que puede influir en la vida de menores y familias debe contar con documentación clara, trazabilidad y mecanismos de rendición de cuentas.
Un algoritmo para robos tenía menos de 10% de precisión
La Policía de Avon y Somerset entregó más de 36 mil registros de rendimiento correspondientes a 13 modelos utilizados o evaluados entre 2017 y 2024.
Los datos fueron revisados por la firma independiente de auditoría algorítmica Eticas.
Según ese análisis, numerosos modelos presentaban una precisión baja, lo que significa que una gran proporción de las personas señaladas como riesgos no cumplían posteriormente la predicción.
Uno de los modelos desarrollado para identificar posibles autores de robos mostró durante más de tres años una precisión inferior al 10%.
Eso implicaría que menos de una de cada diez personas señaladas como de alto riesgo terminaba cometiendo el delito previsto.
La policía respondió que el modelo de robos nunca fue desplegado operativamente y que los registros posteriores continuaron generándose de forma automática desde un archivo que no fue eliminado.
¿Qué significa una baja precisión?
En este contexto, la precisión indica qué proporción de las personas señaladas por un modelo realmente experimenta el resultado anticipado.
Por ejemplo, si un sistema identifica a 100 personas como posibles responsables de un robo y solamente cinco cometen posteriormente ese delito, la precisión es del 5%.
Una baja precisión puede generar numerosos falsos positivos.
Estos errores pueden provocar que personas inocentes:
- Reciban mayor vigilancia policial.
- Sean sometidas a controles adicionales.
- Aparezcan en listas de riesgo.
- Sean tratadas como posibles delincuentes.
- Enfrenten decisiones administrativas desfavorables.
- Desconozcan por qué las autoridades las consideran peligrosas.
Aunque una puntuación no determine automáticamente una detención, puede influir en la forma en que policías y funcionarios interpretan el comportamiento de una persona.
Una aplicación contenía datos de unas 300 mil personas
Otro sistema investigado fue la Offender Management App, una aplicación diseñada para gestionar información sobre aproximadamente 300 mil personas de la región.
La herramienta podía mostrar antecedentes, conexiones y evaluaciones de riesgo relacionadas con posibles infractores.
Un alto mando policial describió el concepto como una especie de clasificación de las personas consideradas más peligrosas de la región.
No obstante, muchos residentes desconocían que sus perfiles podían estar incluidos en la aplicación.
El activista John Pegram solicitó en 2024 información sobre el uso de sus datos. La policía confirmó meses después que tenía un perfil en la herramienta, pero inicialmente no explicó qué información contenía ni cómo podía afectarlo.
Activista prepara una demanda contra la policía
John Pegram dirige un grupo local de supervisión policial en Bristol.
En 2017 fue detenido durante una protesta antifascista y posteriormente condenado por agredir a un agente, aunque el propio policía reconoció que el golpe parecía accidental.
Años después, Pegram sospechó que ese episodio podía haberlo colocado dentro del sistema de gestión de infractores.
La policía afirmó que no había recibido una puntuación de riesgo porque no había sido relacionado con delitos durante los dos años anteriores.
Sin embargo, Pegram continúa sin conocer toda la información que las autoridades conservan sobre él.
En julio de 2025, sus abogados notificaron a la Policía de Avon y Somerset su intención de emprender una acción legal. El activista busca retirar sus datos y eliminar completamente la aplicación.
¿Los algoritmos tenían sesgos raciales?
La Policía de Avon y Somerset mostró una aplicación interna que comparaba las puntuaciones promedio asignadas a personas blancas y a personas pertenecientes a minorías étnicas.
El sistema concluyó que no existían diferencias significativas entre ambos grupos.
Sin embargo, la firma Eticas consideró que esa comparación no equivalía a realizar una auditoría completa de discriminación.
Para detectar sesgos sería necesario analizar de manera más detallada:
- Tasas de falsos positivos por grupo étnico.
- Diferencias entre hombres y mujeres.
- Condición socioeconómica.
- Edad.
- Zona de residencia.
- Discapacidad.
- Tipo de delito.
- Frecuencia de vigilancia policial previa.
Los expertos advierten que un algoritmo puede reproducir desigualdades aunque no utilice directamente la raza como variable, porque otros datos pueden estar relacionados con ella.
Los datos policiales pueden reproducir desigualdades
Los sistemas predictivos se entrenan con información histórica.
Si determinados barrios o grupos fueron vigilados con mayor intensidad durante años, es probable que exista una mayor cantidad de registros policiales sobre ellos.
El algoritmo puede interpretar esa concentración de datos como evidencia de mayor riesgo, recomendar más vigilancia en los mismos lugares y generar nuevos registros.
Este proceso puede convertirse en un círculo:
- Una zona recibe mayor vigilancia.
- La policía registra más incidentes.
- El algoritmo considera que esa zona es más peligrosa.
- Se envían más agentes.
- Se producen todavía más registros.
Por eso, los especialistas consideran que los datos históricos no representan necesariamente toda la delincuencia, sino también las prioridades y prácticas de vigilancia de las instituciones.
No todos los modelos fueron utilizados
La existencia de datos de rendimiento no significa que todos los algoritmos hayan influido directamente en operaciones policiales.
La Policía de Avon y Somerset sostuvo que algunos modelos fueron desarrollados únicamente para pruebas y nunca se desplegaron.
También afirmó que cada sistema es revisado por especialistas policiales antes de entrar en funcionamiento y que puede ser actualizado o desconectado cuando se detectan problemas.
No obstante, la investigación encontró dificultades para determinar con claridad:
- Qué modelos estuvieron activos.
- Durante cuánto tiempo funcionaron.
- Quién podía consultar sus resultados.
- Qué decisiones se tomaron con ellos.
- Cuáles fueron retirados.
- Qué personas resultaron afectadas.
La falta de documentación impide reconstruir por completo el alcance del programa.
La policía aseguraba tener revisión ética
La Policía de Avon y Somerset afirma en su sitio que sus proyectos de ciencia de datos son revisados por un grupo especializado en ética.
Sin embargo, al responder a la investigación, reconoció que ese grupo no había celebrado reuniones sobre los modelos porque, según la fuerza, no se había identificado ningún sistema con posibles problemas éticos.
La respuesta generó críticas debido a que la propia comisión de ética policial había advertido desde 2016 sobre riesgos de sesgo, selección de variables y transparencia.
En aquel momento, el comité recomendó informar al público sobre por qué y cómo se utilizarían las herramientas predictivas.
“Legalidad no es lo mismo que legitimidad”
Una revisión gubernamental realizada en 2021 advirtió sobre tensiones éticas relacionadas con la Think Family Database.
Los evaluadores destacaron que grandes cantidades de información sensible se habían recopilado mediante mecanismos legales, pero sin construir previamente una relación de confianza con la población.
La frase “legalidad no es lo mismo que legitimidad” resume una de las principales críticas al proyecto.
Una autoridad puede tener una base jurídica para procesar datos, pero aun así debe explicar:
- Qué información utiliza.
- Para qué la necesita.
- Cuánto tiempo la conserva.
- Con quién la comparte.
- Cómo corrige errores.
- Cómo puede una persona impugnar su puntuación.
- Qué consecuencias puede producir.
La ausencia de estas respuestas puede erosionar la confianza pública, incluso cuando la finalidad declarada sea prevenir delitos o proteger a menores.
El Ayuntamiento asegura que no sustituyó decisiones humanas
El Ayuntamiento de Bristol rechazó que los algoritmos sustituyeran el criterio de trabajadores sociales u otros profesionales.
La autoridad indicó que actualmente no utiliza análisis predictivos, salvo un modelo destinado a identificar menores que podrían quedar fuera de la educación, el empleo o la capacitación al terminar la escuela.
También afirmó que las herramientas nunca reemplazaron el juicio ni la toma de decisiones humanas.
Gary Davies sostuvo que el impacto de los modelos infantiles probablemente fue limitado porque muchos trabajadores no entendían ni valoraban suficientemente sus resultados.
Sin embargo, expertos advierten que la falta de registros impide saber con certeza si alguna puntuación influyó en decisiones sobre familias o menores.
El riesgo de confiar demasiado en una computadora
Incluso cuando un algoritmo es utilizado únicamente como apoyo, puede modificar la percepción de un profesional.
Si una computadora clasifica a una persona como de alto riesgo, un policía o trabajador social podría prestar mayor atención a información que confirma esa puntuación e ignorar datos que la contradicen.
Este fenómeno puede convertir una predicción en una conclusión anticipada.
Los especialistas señalan que la supervisión humana no elimina automáticamente el problema, especialmente cuando:
- El usuario desconoce cómo funciona el modelo.
- La puntuación parece objetiva.
- No existen explicaciones claras.
- Hay presión de tiempo.
- No se muestran los márgenes de error.
- Es difícil cuestionar el resultado.
Por ello, cualquier uso de inteligencia artificial en justicia o protección infantil requiere controles más estrictos que una simple revisión manual.
¿Sigue Reino Unido utilizando inteligencia artificial policial?
Sí.
A pesar de las dudas surgidas en Bristol, Reino Unido está ampliando el uso de inteligencia artificial en sus fuerzas de seguridad.
El Gobierno británico presentó el 10 de junio de 2026 PoliceAI, un nuevo centro nacional respaldado con 75 millones de libras durante tres años.
Su objetivo será identificar, probar y ampliar herramientas de inteligencia artificial entre las fuerzas policiales de Inglaterra y Gales.
El programa forma parte de una inversión total de 140 millones de libras en tecnologías de IA, que también incluye unidades adicionales de reconocimiento facial y sistemas para transcribir llamadas de emergencia, relacionar denuncias y clasificar solicitudes de ayuda.
PoliceAI llegará a las 43 fuerzas de Inglaterra y Gales
PoliceAI trabajará con las 43 fuerzas territoriales de Inglaterra y Gales.
El Gobierno sostiene que estas herramientas pueden reducir el tiempo dedicado a tareas administrativas, acelerar investigaciones y liberar el equivalente al trabajo de miles de agentes.
El organismo será alojado por el College of Policing, encabezado por Andy Marsh, quien anteriormente fue jefe de la Policía de Avon y Somerset durante parte del desarrollo del programa predictivo investigado.
Las autoridades prometen realizar pruebas y evaluaciones responsables antes de ampliar los sistemas.
Sin embargo, los críticos consideran que la experiencia de Bristol muestra los riesgos de desplegar modelos antes de disponer de suficiente transparencia, documentación y supervisión pública.
¿La inteligencia artificial puede predecir un delito?
Los sistemas predictivos no pueden saber con certeza quién cometerá un delito.
Lo que hacen es calcular probabilidades a partir de patrones históricos.
Por ejemplo, pueden identificar que personas con determinadas características registradas tuvieron una mayor frecuencia de reincidencia en el pasado.
El problema es que una correlación estadística no permite afirmar que un individuo concreto cometerá una conducta.
Dos personas con antecedentes o circunstancias similares pueden tomar decisiones completamente diferentes.
Por eso, presentar una puntuación como una predicción individual puede generar una falsa sensación de certeza.
Diferencia entre predicción de lugares y personas
La policía predictiva puede adoptar dos formas principales.
Predicción geográfica
Busca identificar lugares donde podrían ocurrir más delitos según horarios, incidentes anteriores y características de la zona.
Predicción individual
Intenta calcular la probabilidad de que una persona cometa un delito, sea víctima o se encuentre en una situación de vulnerabilidad.
La segunda modalidad genera mayores preocupaciones porque puede afectar directamente la reputación, vigilancia y derechos de personas identificables.
El programa de Avon y Somerset incluyó ambas aproximaciones, pero la investigación se concentró principalmente en los sistemas que puntuaban a individuos y familias.
Posibles beneficios de los modelos predictivos
Utilizadas correctamente, las herramientas de análisis pueden ayudar a las instituciones a:
- Detectar patrones difíciles de observar manualmente.
- Relacionar información procedente de distintas agencias.
- Encontrar casos que necesitan atención urgente.
- Distribuir mejor los recursos.
- Identificar menores que dejaron de asistir a la escuela.
- Reconocer señales tempranas de violencia.
- Reducir tareas administrativas.
La revisión de Social Finance encontró que algunas visualizaciones de la Think Family Database fueron útiles para trabajadores de protección infantil y permitieron respuestas más rápidas.
El problema principal no fue necesariamente reunir información, sino la debilidad de algunos modelos que intentaban convertirla en una puntuación de riesgo.
Riesgos de utilizar algoritmos en seguridad pública
Los principales riesgos incluyen:
- Falsos positivos.
- Discriminación indirecta.
- Vigilancia excesiva.
- Datos incorrectos o desactualizados.
- Falta de transparencia.
- Imposibilidad de apelar.
- Uso para finalidades distintas de las originales.
- Confianza excesiva en resultados automatizados.
- Filtración de datos sensibles.
- Ausencia de responsables claros.
Estos problemas son especialmente graves cuando las puntuaciones afectan a menores, víctimas de violencia o comunidades históricamente vigiladas.
Qué debería exigirse a un algoritmo policial
Antes de utilizar un modelo de riesgo, las autoridades deberían publicar información sobre:
- Su finalidad específica.
- Los datos utilizados.
- Las variables incluidas.
- Las tasas de error.
- Los falsos positivos.
- Las diferencias de rendimiento entre grupos.
- El periodo de funcionamiento.
- Los responsables del sistema.
- Las decisiones que puede influir.
- El procedimiento para corregir datos.
- La forma de solicitar una revisión humana.
- Las razones para suspenderlo.
También serían necesarias auditorías independientes periódicas y una evaluación pública antes de ampliar su uso.
Lo que está confirmado sobre el sistema británico
Hasta ahora se encuentra confirmado que:
- La Think Family Database comenzó a funcionar en 2016.
- Reunió información de cerca de medio millón de habitantes de Bristol.
- La Policía de Avon y Somerset desarrolló al menos 23 modelos predictivos.
- Los sistemas abordaban delitos, victimización, desapariciones y vulnerabilidad.
- Dos modelos infantiles fueron abandonados por dudas sobre su precisión.
- Revisores no localizaron suficiente documentación sobre su código y variables.
- Un análisis independiente encontró baja precisión en diversos modelos.
- El algoritmo relacionado con robos no habría sido desplegado.
- La Offender Management App contenía perfiles de unas 300 mil personas.
- Algunos residentes desconocían que aparecían en el sistema.
- El Ayuntamiento continúa utilizando un modelo relacionado con educación y empleo.
- Reino Unido lanzó PoliceAI con un presupuesto de 75 millones de libras.
Una advertencia para la expansión de la IA policial
El caso de Avon y Somerset no demuestra que todos los algoritmos policiales sean inútiles ni que la inteligencia artificial no pueda ayudar a prevenir daños.
Sí muestra que los sistemas pueden causar problemas cuando se desarrollan con poca documentación, datos incompletos, resultados difíciles de explicar y escasa participación pública.
Dos modelos dejaron de utilizarse porque quienes debían confiar en ellos comenzaron a considerarlos inexactos. Otros presentaron tasas elevadas de falsos positivos o carecieron de auditorías suficientemente detalladas.
La experiencia adquiere mayor importancia ahora que Reino Unido se prepara para extender herramientas de inteligencia artificial a todas sus fuerzas policiales.
La pregunta ya no es solamente si la tecnología puede producir una puntuación, sino si esa puntuación es suficientemente confiable, justa y transparente para influir en la vida de una persona.
