Los sistemas automatizados en el ordenamiento jurídico: tipos de programación, riesgos y control
DOI:
https://doi.org/10.5944/rdp.123.2025.45504Palabras clave:
Sistemas automatizados, inteligencia artificial, decisiones automatizadas, control jurisdiccional, sesgo de automatizaciónResumen
El objeto de este trabajo es analizar qué papel desempeñan los sistemas automatizados, muchas veces confundidos con sistemas propiamente de inteligencia artificial, en el seno del ordenamiento jurídico. Tras estudiar sus características definitorias, se identifican dos tipos distintos de sistemas automatizados en función del objeto de su codificación: aquellos que tienen programación jurídica y aquellos que tienen programación científica o técnica. A partir de ahí, se analizan tanto las funciones que desempeñan como los riesgos jurídicos que cada uno de ellos particularmente entraña, poniéndose especial atención en el control jurisdiccional de las decisiones jurídicas adoptadas en base a ellos.
Descargas
Citas
ALEMÁN ARÓSTEGUI, L., «El uso RisCanvi en la toma de decisiones penitenciarias», Estudios penales y criminológicos, ISSN 1137-7550, núm. Extra 44, 2023, pp.1-43.
ALEXY, R., Teoría de los derechos fundamentales, trad. E. Garzón Valdés, CEC, Madrid, 1993.
ANDRÉS PUEYO, A., «Predicción de la reincidencia penitenciaria en Cataluña por medio del RisCanvi», en ORTS BERENGUER, E., ALONSO RIMO, A., ROIG TORRES, M., Peligrosidad criminal y Estado de Derecho, Tirant lo Blanch, Valencia, 2017, pp. 371-390.
ANDRÉS PUEYO, A., ARBARCH LUCIONI, K., REDONDO, S., «The RisCanvi: A New Tool for Assessing Risk for Violence in Prison and Recidivism», en SINGH, J.P. ET AL (Eds), Handbook of Recidivism Risk / Needs Assessment Tools, Wiley-Blackwell, 2018, pp. 255-267
AA.VV., «Manual de aplicación del Protocolo de valoración RisCanvi», elaborado por el la Secretaría de medidas penales, reinserción y atención a la víctima del Departamento de Justicia de la Generalitat de Cataluña, 2019, disponible aquí: https://repositori.justicia.gencat.cat/bitstream/handle/20.500.14226/1320/manual-aplicacio-protocol-avaluacio-riscanvi.pdf (última consulta el 2 de julio de 2024)
BASTIDA FREIJEDO, F., «La soberanía borrosa: la democracia», en PUNSET BLANCO (Coord.): Soberanía y Constitución. Fundamentos. Cuadernos monográficos de teoría del Estado, Derecho Público e Historia Constitucional, Junta General del Principado de Asturias, KRK, Oviedo, 1998, pp.381 y ss.
BING, J., «Computers and Law: Some beginnings», it-Information Technology, vol. 49, issue 2, 2007, pp. y ss.
BOIX PALOP, A., «Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones», Revista de Derecho Público: Teoría y Método, vol.1, 2020, pp.223 y ss.
BOIX PALOP, A., «Transparencia y control del uso de la inteligencia artificial por las Administraciones Públicas», en BALAGUER CALLEJÓN, F., COTINO HUESO, L. (Coords.), Derecho público de la inteligencia artificial, Fundación Gimenez Abad, Zaragoza, 2023, pp.247 y ss.
CASTRO LIÑARES, D., Los instrumentos de valoración y gestión de riesgos en el modelo de penalidad español, Reus, Madrid, 2019
COTINO HUESO, L., CASTELLANOS CLARAMUNT, J., (Coords.), Transparencia y explicabilidad de la inteligencia artificial, Tirant lo Blanch, Valencia, 2002.
COTINO HUESO, L., «Qué concreta transparencia e información de algoritmos e inteligencia artificial es la debida», Revista Española de la Transparencia, núm.16, 2023, pp. 17 y ss.
COTINO HUESO, L., «Caso Bosco, a la tercera tampoco va la vencida. Mal camino en el acceso los algoritmos públicos», Diario La Ley, núm.84, 2024.
D'AMATO, A., «Can/Should Computers Replace Judges?», Georgia Law Review, vol.11, 1977, 1277-130.
DE FILIPPI, P., HASSAN, S., «Blockchain Technology as a Regulatory Technology: from Code is Law to Law is Code», First Monday, 2016.
DE FILIPPI, P., HASSAN, S ., «The Expansion of Algorithmic Governance: From Code is Law to Law is Code», Field Actions Science Reports Special Issue, vol.17, 2017, pp. 88 y ss.
DESDENTADO DAROCA, E., Los problemas del control judicial de la discrecionalidad técnica: (un estudio crítico de la jurisprudencia), Civitas, Madrid, 1997.
DÍAZ DÍEZ, C. A., «El conocimiento científico como criterio directivo de la actuación administrativa: un estudio de metodología aplicativa», Revista de Derecho Público: Teoría y Método, vol.7, 2023, pp.111 y ss.
ESTEVE PARDO, J., El desconcierto del Leviatán. Política y Derecho ante las incertidumbres de la ciencia, Marcial Pons, Madrid, 2009.
EUBANKS, V., La automatización de la desigualdad. Herramientas de tecnología avanzada para supervisar y castigar a los pobres, Madrid, Capitán Swing, 2021.
FERNÁNDEZ, T-R., «La discrecionalidad técnica: un viejo fantasma que se desvanece», Revista de Administración Pública, núm. 196, 2015
FRANKEL, M.E., Criminal Sentences: Law Without Order, New York, Hill and Wang, 1972.
GAMERO CASADO, E., «Sistemas automatizados de toma de decisiones en el Derecho Administrativo Español», Revista General de Derecho Administrativo, núm.63, 2023, pp.1 y ss.
GARCÍA DE ENTERRÍA, E., FERNÁNDEZ RODRÍGUEZ, T.R., Curso de Derecho Administrativo I, Thomson Reuters – Aranzadi, Cizur Menor (Navarra), 2020.
GÓMEZ JIMÉNEZ, M. L., Automatización procedimental y sesgo electrónico: el procedimiento administrativo electrónico desde la inteligencia artificial, Thomson Reuters Aranzadi, Navarra, 2021.
GONZÁLEZ ÁLVAREZ, J. L., LÓPEZ OSSORIO, J.J, MUÑOZ RIVAS, M., «La valoración policial del riesgo de violencia contra la mujer pareja en España – Sistema VioGén», Ministerio del Interior. Gobierno de España, Madrid, 2018, disponible en: https://www.interior.gob.es/opencms/pdf/archivosdocumentacion/documentacionypublicaciones/publicacionesdescargables/seguridadciudadana/La_valoracion_policial_riesgo_violencia_ontra_mujer_pareja_1287.pdf;
GROSSMAN, G.S., SOLOMON, L., D., «Computers and legal reasoning», American Bar Association Journal, Vol. 69, No. 1, 1983, pp. 66-70.
HILDEBRANT, M., «Code-driven Law: Freezing the Future and Scaling the Past», en DEAKIN, S., MARKOU, C. (Eds.), Is Law Computable: Critical Perspectives on Law and Artificial Intelligence, Hart Publishing, Oxford, 2020, pp. 67 y ss.
HUERGO LORA, A., «Una aproximación a los algoritmos desde el Derecho Administrativo», en HUERGO LORA, A. (Dir.), DÍAZ GONZÁLEZ, G. (Coord.), La regulación de los algoritmos, Thomson-Reuters Aranzadi, Cizur Menor, 2020, pp.68 y ss.
HUERGO LORA, A., «El derecho de transparencia en el acceso a los códigos fuente», en Anuario de Transparencia Local, 5/2022, Fundación Democracia y Gobierno Local, 2023, pp. 35 y ss.
HUERGO LORA, A., «Inteligencia artificial: una aproximación jurídica no catastrofista», Revista Española de Control Externo, vol. XXV, n.º 74-75, 2023
HUERGO LORA, A., «Inteligencia artificial y sanciones administrativas», Anuario de Derecho Administrativo Sancionador, 2023, pp. 275 y ss.
IGARTUA SALAVERRÍA, J., Discrecionalidad técnica, motivación y control jurisdiccional, Civitas-IVAP, 1998.
KAZIM, T., TOMLINSON, J., «Automation Bias and the Principles of Judicial Review», Judicial Review, Vol. 28, issue 1, 2023, pp.1 y ss.
KELSEN, H., Teoría pura del Derecho, 1ª ed., 2ª reimp., trad. R. J. Vernego, UNAM, México, 1982.
KELSEN, H., KLÜG, U., Normas jurídicas y análisis lógico, trad. J. Carlos Gardella, CEC, Madrid, 1988.
KLUG, U., Lógica jurídica, trad. J.D., García Bacca, Universidad Central de Venzuela, Caracas, 1961.
KRIELE, M., Introducción a la teoría del Estado. Fundamentos históricos de la legitimidad del Estado constitucional democrático, trad. E. Bulygin, Depalma, Buenos Aires, 1980
LESSIG, L., Code and Other Laws of Cyberspace, Basic Books, 1999
LOEVINGER, L., «Jurimetrics – The Next Step Forward», Minnesota Law Review, vol. 3, issue 5, 1948, pp. 455 y ss.
LUHMANN, N., Sistemas sociales. Lineamientos para una teoría general, trad. S. Pappe y B. Erker, Anthropos, Barcelona, 1998.
LUHMANN, N., La légitimation par la procédure, trad. L. K. Sosoe y S. Bouchard, Les presses de l’Université de Laval, Canada, 2001, pp. 20 y ss.
MADRID PÉREZ, A., «El uso de sistemas predictivos automatizables en la actividad decisional de las autoridades públicas: aportaciones para un análisis iusfilosófico sobre la digitalización del proceso decisional», Anuario de Filosofía del Derecho, 2024, X, pp.217 y ss.
MARTÍN DELGADO, I., «Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada», Revista de Administración Pública, núm. 180, 2009, pp. 353-386.
MARTÍNEZ GARAY, L., MONTES SUAY, F., «El uso de valoraciones del riesgo de violencia en Derecho Penal: algunas cautelas necesarias», InDret, núm. 2, 2018, pp.1 y ss.
MARTÍNEZ GARAY, L., «Problemas conceptuales y de comunicación en la evaluación del riesgo de reincidencia y su aplicación al sistema penal: el ejemplo del RisCanvi», en ORTS BERENGUER, E., ALONSO RIMO, A., ROIG TORRES, M., Peligrosidad criminal y Estado de Derecho, Tirant lo Blanch, Valencia, 2017, pp.341 y ss.
MARTÍNEZ GARAY, L., (Coord.), «Three predictive policing approaches in Spain: Viogén, RisCanvi and Veripol», disponible aquí: https://regulation.blogs.uv.es/files/2024/05/Three-predictive-policing-perspectives-web-17.06.24.pdf (última consulta, 2 de julio de 2024).
MEDINA GUERRERO, M., «El derecho a conocer los algoritmos utilizados en la toma de decisiones. Aproximación desde la perspectiva del derecho a la protección de datos personales», Teoría y Realidad Constitucional, núm.49, 2022, pp.141 y ss.
MERINO MERCHÁN, J. F., «Modelo algorítmico en un sistema "K” de legalidad ordinaria (Ensayo de normología)», Revista De Las Cortes Generales, núm.54, 2001, pp. 21-58.
MONTESINOS GARCÍA, A., «Los algoritmos que valoran el riesgo de reincidencia: En especial, el sistema Viogen», Revista de derecho y proceso penal, núm. 64, 2021, pp. 19-55
NIBLETT, B., Computer Science and Law, Cambridge University Press, Cambridge, 1980
PALMA ORTIGOSA, A., Decisiones automatizadas y protección de datos, Especial atención a los sistemas de inteligencia artificial, Dykinson, Madrid, 2022.
PARASURAMAN, R., RILEY, V., «Humans and automation: Use, misuse, disuse, abuse»», Human Factors, vol.39, issue 2, 1997, pp. 230–53
PÉREZ LUÑO, Cibernética, informática y derecho (un análisis metodológico), Bolonia, 1976.
PONCE SOLÉ, J., «Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico», Revista General de Derecho Administrativo, núm50, 2019, pp.1 y ss.
PRESNO LINERA, M.A., «La propuesta de “Ley de Inteligencia Artificial” europea», Revista de las Cortes Generales, núm.116, 2023, pp. 81 y ss.
PRESNO LINERA, M.A., «Policía predictiva y prevención de la violencia de género: el sistema VioGén», Revista de Internet, Derecho y Política, núm.39, 2023, pp. 1 y ss.
RODRÍGUEZ ÁLVAREZ, J., «Tecnología y discriminación: el sesgo de automatización en la praxis jurídica», en RODRÍGUEZ SÁNCHEZ, A. TALAVERA CORDERO, P.; DOMÍNGUEZ ÁLVAREZ, J.L., TERRÓN SANTOS, D. (Dirs.), Desafíos éticos, jurídicos y tecnológicos del avance digital, Iustel, Madrid, 2023, pp. 373 y ss.
RUSCHEMEIER, H., HONDRICH, L., «Automation bias in public administration – an interdisciplinary perspective from law and psychology», pp.1 y ss., Vol. 41, Issue 3, 2024
SAN MARTÍN SEGURA, D., «Prevención algorítmica de la violencia de género: la discrecionalidad policial como decisión tecnológica en el contexto de VIOGÉN», Estudios Penales y Criminológicos, núm.44(Ext.), 2023, pp.1 y ss.
SKITKA, L. J., MOSIER, K. L., BURDICK, M., «Does automation bias decision-making?» International Journal of Human-Computer Studies, vol.51, 1999, pp. 991-1006
SORIANO, A., «Decisiones automatizadas y discriminación: aproximación y propuestas generales», Revista General de Derecho Administrativo, núm.56, 2021, pp.1 y ss.
SORIANO, A., «El uso de la inteligencia artificial en la selección y gestión del personal de las administraciones públicas», Documentación Administrativa. Nueva época, núm.9, 2022, pp.11 y ss.
OSTER, J., «Code is code and law is law – the law of digitalization and the digitalization of law», International Journal of Law and Information Technology, vol. 29, 2021.
SOLOMON, H., «Jurimetrics», Jurimetrics Journal, vol. 8, issue 3, 1968, pp. 7 y ss.
SURDEN, H., «Computable Law and AI», en LIM, E., MORGAN, P., The Cambridge Handbook of Private Law and Artificial Intelligence, Cambridge University Press, Cambridge, 2024, pp.36 y ss.
TAHIRI MORENO, J., «El principio de presunción de falibilidad de las decisiones algorítmicas desfavorables. Una nueva garantía jurídica frente al uso de decisiones automatizadas y el uso de sistemas de inteligencia artificial en la Administración Pública», Revista Aragonesa de la Administración Pública, núm.60, 2023, pp.188 y ss.
VALERO TORRIJOS, J., «El régimen jurídico de la e-Administración. El uso de los medios informáticos y telemáticos en el procedimiento administrativo común», Ed. Comares, Granada, 2.ª ed., 2007.
VEALE, M., BRASS, I., «Administration by Algorithm? Public Management Meets Public Sector Machine Learning», en YEUNG, K., LODGE, M. (Eds.), Algorithmic Regulation, Oxford University Press, Oxford, 2019, pp.1232 y ss.
VESTRI, G., «La inteligencia artificial ante el desafío de la transparencia algorítmica: Una aproximación desde la perspectiva jurídico-administrativa», Revista Aragonesa de Administración Pública, núm. 56, 2021, pp.368 y ss.
VESTRI, G., «El acceso a la información algorítmica a partir del caso bono social vs. Fundación Ciudadana Civio», Revista General de Derecho Administrativo, núm.61, 2022, pp.1 y ss.
VON FOERSTER, H., Understanding Understanding: Essays on Cybernetics and Cognition, Springer, New York, 2003
ZALNIEURIUTE, M., BENNETT MOSSES, L., WILLIAMS, G., «The Rule of Law and Automation of Government Decision-Making», Modern Law Review, vol. 82, issue 3, 2019, pp. 425 y ss.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2025 Patricia García Majado
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Los autores que publican en esta revista están de acuerdo con los siguientes términos:
- La Revista de Derecho Político se distribuye bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional
- Los autores conservan los derechos de autor y garantizan a la revista el derecho de ser la primera publicación del trabajo.
- Los autores pueden establecer por separado acuerdos adicionales para la distribución no exclusiva de la versión de la obra publicada en la revista (por ejemplo, situarlo en un repositorio institucional o publicarlo en un libro), con un reconocimiento de su publicación inicial en esta revista.
- Se permite y se anima a los autores a difundir sus trabajos electrónicamente (por ejemplo, en repositorios institucionales o en su propio sitio web) antes y durante el proceso de envío, ya que puede dar lugar a intercambios productivos, así como a una citación más temprana y mayor de los trabajos publicados (Véase The Effect of Open Access) (en inglés).
