En la conferencia Data for Black Lives, celebrada el pasado fin de semana, tecnólogos, expertos legales y activistas comunitarios abordaron el papel de la IA en el sistema de justicia penal de Estados Unidos.

El hecho es que Estados Unidos encarcela a más personas que cualquier otro país del mundo. Por ello los tribunales de justicia, bajo una presión inmensa para reducir el número de cárceles sin correr el riesgo de que aumente el crimen, han recurrido a herramientas automatizadas para operar de la manera más eficiente y segura posible.

Los departamentos de policía utilizan algoritmos predictivos para establecer estrategias sobre dónde enviar sus filas. Las agencias estatales utilizan sistemas de reconocimiento facial para ayudar a identificar a los sospechosos. Estas prácticas han obtenido un merecido escrutinio sobre si, de hecho, mejoran la seguridad o simplemente perpetúan las injusticias existentes. Los investigadores y defensores de los derechos civiles, por ejemplo, han demostrado repetidamente que los sistemas de reconocimiento de rostros pueden fallar estrepitosamente, en particular para los individuos de piel oscura.

lne.es

Pero la herramienta más controvertida llega después de que la policía haya realizado un arresto: los algoritmos de evaluación de riesgos criminales. Las herramientas de evaluación de riesgos están diseñadas para captar los detalles del perfil de un acusado y ofrecer una valoración de posible reincidencia, de manera que un solo número  estima la probabilidad de que el acusado reincida. Luego, un juez decide los factores que pueden determinar qué tipo de servicios de rehabilitación deben recibir los acusados ​​en particular, si deben permanecer en la cárcel antes del juicio y qué tan severas deben ser las sentencias.

La lógica para usar tales herramientas algorítmicas es que, si se puede predecir con exactitud el comportamiento delictivo, se puede asignar recursos en consecuencia, ya sea para rehabilitación o para penas de prisión. En teoría, también reduce cualquier sesgo que influya en el proceso, porque los jueces toman decisiones basándose en datos y no en sus instintos.

Las herramientas modernas de evaluación de riesgos a menudo son impulsadas por algoritmos entrenados en datos históricos de delitos, mientras que los algoritmos de aprendizaje automático utilizan estadísticas para encontrar patrones en los datos. Por consiguiente, si alimentamos el sistema con datos históricos de delitos, éste seleccionará los patrones asociados con el delito, como, por ejemplo, la asociación de unos bajos ingresos económicos con una alta reincidencia. Esto es precisamente lo que hacen las herramientas de evaluación de riesgos: convierten las percepciones correlativas en mecanismos de calificación causal.

Ahora, las comunidades que históricamente han sido atacadas de manera desproporcionada por las fuerzas de orden público, especialmente las comunidades de bajos ingresos y minorías, están en riesgo de ser abofeteadas con altas puntuaciones de reincidencia. Como resultado, el algoritmo podría amplificar y perpetuar sesgos incrustados y generar aún más datos contaminados para alimentar un ciclo vicioso.

La evaluación de riesgos basada en datos es, de momento, una forma de sanear y legitimar los sistemas opresivos. El debate sobre el uso de estas herramientas aún continúa.