Se ha identificado la existencia de sesgos en estas herramientas de IA que afectan especialmente a poblaciones en situación de vulnerabilidad. Según la Organización Fair Trails el sistema de reconocimiento facial utilizado por la policía en Brasil fue diseñado para respaldar el alegato de inocencia de la policía frente a posibles denuncias de actuaciones ilegales. Esta situación es de especial atención debido a los antecedentes que existen en Brasil en esta temática. Tal y como resalta la Corte Interamericana de Derechos Humanos en el Caso Favela Nova Brasilia vs Brasil (2017):

Al respecto, varios peritajes y declaraciones testimoniales aportadas al presente caso, así como la Defensoría Pública del Estado de São Paulo indicó en su escrito de amicus curiae, en Brasil se ha vuelto una práctica habitual que los informes sobre muertes ocasionadas por la policía se registren como “resistencia seguida de muerte”, y que en Río de Janeiro se usa la expresión “autos de resistencia” para referirse al mismo hecho. De acuerdo con la Defensoría Pública, ese es el escenario ideal para los agentes que pretenden dar un aspecto de legalidad a las ejecuciones sumarias que practican. (Párr. 193).

Asimismo, de acuerdo a un estudio realizado por la Autoridad Nacional de Protección de Datos de Brasil, las cámaras fueron colocadas en puntos estratégicos de la ciudad de Río de Janeiro, lo que evidenció un sesgo racial discriminatorio racial hacia personas afrodescendientes, así como sesgos de género, resultando en falsos positivos al momento de su detención.

En el caso del sistema utilizado en Chile, la investigadora Josefina Buschmann (2022) identificó varias problemáticas, destacando que los datos no son neutrales ni objetivos, ya que su contexto de producción influye en su interpretación. Los registros policiales utilizados pueden estar marcados por detenciones injustas, arbitrarias o denuncias inexactas, lo cual sesga la base de datos y reproduce prácticas discriminatorias. Esto puede traducirse en una mayor vigilancia y controles de identidad preventivos en ciertas zonas, reforzando patrones de vigilancia selectiva.

En el caso del Estado de México, García y Macias (2022) explican que los operadores de sistemas de videovigilancia monitoreaban de manera discriminatoria a ciertos grupos de personas. Por ejemplo, se daba un seguimiento especial a trabajadores de la construcción que transitaban por zonas residenciales, bajo la presunción de que podían estar vinculados con robos.

En este sentido, es importante entonces analizar que históricamente ha existido una criminalización de la pobreza. Tal y como indica Gustavo Viltale (2008), “la selectividad propia de todo sistema penal adquiere, en nuestros territorios, niveles enormes de irracionalidad. La mera observación de la realidad nos muestra que los sectores sociales que se encuentran criminalizados son, en su amplia mayoría, los excluidos por las políticas de estado: los pobres”. 

La implementación de herramientas de inteligencia artificial en labores de vigilancia y persecución criminal no es neutral ni objetiva, ya que su funcionamiento depende de los datos con los que han sido entrenadas. Dado que estos sistemas aprenden a partir de patrones históricos establecidos por los seres humanos, inevitablemente reflejan los sesgos estructurales presentes en las políticas de seguridad y justicia. En este sentido, cuando los datos de entrenamiento provienen de prácticas policiales y judiciales que han estado marcadas por la discriminación racial, de género y socioeconómica, la IA tiende a reforzar y amplificar estos sesgos.

La hipervigilancia desproporcionada a barrios en condición de pobreza, en lugar de ofrecer una aplicación equitativa de la ley, replican y perpetúan modelos de persecución selectiva. Este fenómeno no es un accidente tecnológico, sino una consecuencia directa de cómo se construyen y alimentan estos sistemas, consolidando dinámicas de exclusión y criminalización que afectan principalmente a poblaciones vulneradas.