"Nadie nace odiando al otro por el color de su piel, su procedencia o religión. La gente aprende a odiar y, si pueden aprender a odiar, también pueden aprender a amar".1
Los algoritmos nos están discriminando, necesitamos reconocer nuestros derechos para cuando sean utilizados en la justicia dejen nuestros sesgos de lado.
Los algoritmos hoy forman parte de los procesos de toma de decisiones del ser humano. No son buenos ni malos, existen y se aplican a muchas áreas de la vida cotidiana como el consumo, las contrataciones de servicios, seguros, trámites gubernamentales, relaciones laborales o decisiones judiciales.
Los humanos somos quienes los creamos, los usamos y quienes le aportamos información acorde a nuestros pareceres, a nuestros sesgos y a nuestras opiniones. Luego de ser generados, estos pueden continuar el proceso de aprendizaje basándose en el comportamiento humano, es lo más parecido al diccionario predictivo, este proceso es el ‘machine learning’.
Algo tiene que quedar en claro: la tecnología debe ser antropocéntrica y debe basarse en los derechos humanos, debe estar al servicio del hombre y no al revés.
Producto de la pandemia, se aceleró el proceso de modernización de la justicia. En ese proceso de modernización, el que comparto como necesario e ineludible a favor de la concreción de los derechos del hombre, aconteció de la mano de la incorporación de la tecnología.
En distintas partes del mundo, en el marco del proceso judicial, los ciudadanos involucrados merecen que dicho proceso se lleve adelante en un plazo razonable y con todas las garantías de un litigio justo. Además, deben respetarse los principios de la tutela judicial efectiva, mientras que la sociedad tiene el derecho de acceder a la información que se produce judicialmente, la que deberá ser pública basándose en la obligación de los operadores del sistema judicial; creemos que la tecnología, sin duda contribuyó en todo ese proceso.
En cuanto a la resolución de las contiendas, es incipiente el uso de IA en la justicia en Argentina. A partir de proyectos como PROMETEA (2017), en uso actualmente en la Ciudad Autónoma de Buenos Aires, se espera que en los próximos años se conozcan nuevas formas de aplicación de la IA a la justicia y que, de este modo, se amplíe su espectro.
En este caso, PROMETEA es un sistema de IA combinado con ‘machine learning’ que resuelve casos sencillos, dictando proveídos o resoluciones poco complejas que no ponen fin a ningún tipo de proceso, por lo que es utilizada en el ámbito del Ministerio Público Fiscal (MPF) de aquella ciudad. Por el momento, no existen peligros de sesgos en este caso, por la forma en que se utiliza la herramienta, pero qué ocurriría si se ampliara la utilización de IA en la justicia intentando emular las decisiones de un juez.
Como ejemplo en lo referente a esta cuestión, podemos tomar el caso de Brasil, en que una jueza de Minas Gerais sentenció en 280 casos en tan solo un segundo. O basta mencionar el proyecto Rey, que es un método que usa IA para representar los casos judiciales en el escritorio del juzgador, el que, además, le puede indicar cómo resolver en relación con sus resoluciones anteriores en casos semejantes.
Por otra parte, no podemos desconocer los casos actuales que existen a nivel mundial sobre discriminación algorítmica, los que discriminan, por ejemplo, en la oportunidad de conceder un seguro de automotor, conceder un trabajo o de otorgar un crédito. Existen casos de detenciones ilegales en base a errores de algoritmos y casos en que se han rechazado beneficios en etapa de ejecución de la pena, en el que se dio tratamientos diferenciados y se reclamó por ello. Con lo cual, existe más que un potencial riesgo de vulneración de derechos constitucionales y convencionales al trato igualitario y a la prohibición de discriminación, en estos casos hablamos de una vulneración tangible.
Debemos considerar que el uso de sistemas de reconocimiento facial como técnicas de investigación usadas en cámaras de seguridad y drones para la investigación policial, puede verse sesgada en este plano. De modo que mi objetivo es efectuar ese análisis y adelantar una discusión que inevitablemente va a llegar en un futuro no tan lejano y empezar entonces a relacionar los derechos del hombre con el uso de los algoritmos.
Los derechos se pueden extraer de la casuística mundial, teniendo en cuanta el caso C.A.D.A. (2015) Comisión de Acceso a Documentos Administrativos de Francia, el caso State vs Loomis (2016), de un tribunal de Wisconsin EEUU, el caso SyRI (2020) de la Haya y el caso Deliveroo (2020) Tribunal Ordinario de Bolonia; en cuestión de algoritmos tenemos derecho al acceso del algoritmo el que implicaría conocer el código fuente en un lenguaje sencillo, para entender qué procedimientos utiliza para tomar decisiones, llegar incluso hasta el momento de su desarrollo, pudiendo citar al programador para que dé las explicaciones del caso.
Por otra parte, tenemos derecho a no ser sometido a decisiones automatizadas, que sea el ser humano el que tome las decisiones y que el material colectado por el algoritmo sea de apoyo en el proceso de toma de esas decisiones.
Otro derecho significativo que se extrae de esos casos es el derecho a la igualdad y a la no discriminación algorítmica, dado que el algoritmo puede discriminar y para defendernos de ello debe ser auditado para poder conocer los procedimientos de toma de decisiones.
Ya estamos transitando el camino de una sociedad con un modelo comercial basado en el dato. Yuval Harari habla de la “ciencia del dataísmo”, Martín Hilbert de la “dictadura de la información”, sea cual fuere el término utilizado, la información es la que rige y regirá los próximos años nuestro modelo de sociedad.
Cada persona puede proporcionar sin saberlo un total aproximado de 5.000 puntos de datos, lo que implica que hoy los gigantes informáticos o incluso los gobiernos conocen más de nosotros que nosotros mismos, proteger es y seguirá siendo un desafío.
Mariel Alejandra Suárez/ Abogada, jueza penal y docente universitaria/ Colaboradora en el Área de Criminología de Sec2Crime.
- Nelson Mandela. De la autobiografía "El largo camino hacia la libertad", 1994