Jurisdiccional/automated systems in the legal order: Types of programs, risks and judicial review
DOI:
https://doi.org/10.5944/rdp.123.2025.45504Keywords:
Automated systems, artificial intelligence, automated decision-making, automation bias, judicial reviewAbstract
The aim of this paper is to analyse the role played by automated systems, often confused with artificial intelligence, within the legal order. After studying their defining characteristics, two different types of automated systems are identified depending on the object of their codification: those that have legal programming and those that have scientific or technical programming. From there, both the functions they perform and the legal risks that each of them particularly entails are analyzed, paying special attention to the judicial review of the legal decisions adopted because of them.
Summary: 1. BY WAY OF INTRODUCTION: AUTOMATED SYSTEMS VS. ARTIFICIAL INTELLIGENCE. 2. AUTOMATED LEGAL PROGRAMMING SYSTEMS. 2.1. Legal operations as a code. 2.2. The application of highly predetermined legal operations as a function. 2.3. Legal risks. a) Error in the computer translation of the standard. b) The computerization of binarity. 3. AUTOMATED SYSTEMS OF SCIENTIFIC OR TECHNICAL PROGRAMMING. 3.1. Scientific or technical knowledge as a code. 3.2. The formalization of technical knowledge as a function. 3.3. Legal risks. a) Incorrect or deficient technical assessments. b) The use of legally proscribed criteria. c) The automation bias. 4. BRIEF CONCLUSIONS.
Downloads
References
ALEMÁN ARÓSTEGUI, L., «El uso RisCanvi en la toma de decisiones penitenciarias», Estudios penales y criminológicos, ISSN 1137-7550, núm. Extra 44, 2023, pp.1-43.
ALEXY, R., Teoría de los derechos fundamentales, trad. E. Garzón Valdés, CEC, Madrid, 1993.
ANDRÉS PUEYO, A., «Predicción de la reincidencia penitenciaria en Cataluña por medio del RisCanvi», en ORTS BERENGUER, E., ALONSO RIMO, A., ROIG TORRES, M., Peligrosidad criminal y Estado de Derecho, Tirant lo Blanch, Valencia, 2017, pp. 371-390.
ANDRÉS PUEYO, A., ARBARCH LUCIONI, K., REDONDO, S., «The RisCanvi: A New Tool for Assessing Risk for Violence in Prison and Recidivism», en SINGH, J.P. ET AL (Eds), Handbook of Recidivism Risk / Needs Assessment Tools, Wiley-Blackwell, 2018, pp. 255-267
AA.VV., «Manual de aplicación del Protocolo de valoración RisCanvi», elaborado por el la Secretaría de medidas penales, reinserción y atención a la víctima del Departamento de Justicia de la Generalitat de Cataluña, 2019, disponible aquí: https://repositori.justicia.gencat.cat/bitstream/handle/20.500.14226/1320/manual-aplicacio-protocol-avaluacio-riscanvi.pdf (última consulta el 2 de julio de 2024)
BASTIDA FREIJEDO, F., «La soberanía borrosa: la democracia», en PUNSET BLANCO (Coord.): Soberanía y Constitución. Fundamentos. Cuadernos monográficos de teoría del Estado, Derecho Público e Historia Constitucional, Junta General del Principado de Asturias, KRK, Oviedo, 1998, pp.381 y ss.
BING, J., «Computers and Law: Some beginnings», it-Information Technology, vol. 49, issue 2, 2007, pp. y ss.
BOIX PALOP, A., «Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones», Revista de Derecho Público: Teoría y Método, vol.1, 2020, pp.223 y ss.
BOIX PALOP, A., «Transparencia y control del uso de la inteligencia artificial por las Administraciones Públicas», en BALAGUER CALLEJÓN, F., COTINO HUESO, L. (Coords.), Derecho público de la inteligencia artificial, Fundación Gimenez Abad, Zaragoza, 2023, pp.247 y ss.
CASTRO LIÑARES, D., Los instrumentos de valoración y gestión de riesgos en el modelo de penalidad español, Reus, Madrid, 2019
COTINO HUESO, L., CASTELLANOS CLARAMUNT, J., (Coords.), Transparencia y explicabilidad de la inteligencia artificial, Tirant lo Blanch, Valencia, 2002.
COTINO HUESO, L., «Qué concreta transparencia e información de algoritmos e inteligencia artificial es la debida», Revista Española de la Transparencia, núm.16, 2023, pp. 17 y ss.
COTINO HUESO, L., «Caso Bosco, a la tercera tampoco va la vencida. Mal camino en el acceso los algoritmos públicos», Diario La Ley, núm.84, 2024.
D'AMATO, A., «Can/Should Computers Replace Judges?», Georgia Law Review, vol.11, 1977, 1277-130.
DE FILIPPI, P., HASSAN, S., «Blockchain Technology as a Regulatory Technology: from Code is Law to Law is Code», First Monday, 2016.
DE FILIPPI, P., HASSAN, S ., «The Expansion of Algorithmic Governance: From Code is Law to Law is Code», Field Actions Science Reports Special Issue, vol.17, 2017, pp. 88 y ss.
DESDENTADO DAROCA, E., Los problemas del control judicial de la discrecionalidad técnica: (un estudio crítico de la jurisprudencia), Civitas, Madrid, 1997.
DÍAZ DÍEZ, C. A., «El conocimiento científico como criterio directivo de la actuación administrativa: un estudio de metodología aplicativa», Revista de Derecho Público: Teoría y Método, vol.7, 2023, pp.111 y ss.
ESTEVE PARDO, J., El desconcierto del Leviatán. Política y Derecho ante las incertidumbres de la ciencia, Marcial Pons, Madrid, 2009.
EUBANKS, V., La automatización de la desigualdad. Herramientas de tecnología avanzada para supervisar y castigar a los pobres, Madrid, Capitán Swing, 2021.
FERNÁNDEZ, T-R., «La discrecionalidad técnica: un viejo fantasma que se desvanece», Revista de Administración Pública, núm. 196, 2015
FRANKEL, M.E., Criminal Sentences: Law Without Order, New York, Hill and Wang, 1972.
GAMERO CASADO, E., «Sistemas automatizados de toma de decisiones en el Derecho Administrativo Español», Revista General de Derecho Administrativo, núm.63, 2023, pp.1 y ss.
GARCÍA DE ENTERRÍA, E., FERNÁNDEZ RODRÍGUEZ, T.R., Curso de Derecho Administrativo I, Thomson Reuters – Aranzadi, Cizur Menor (Navarra), 2020.
GÓMEZ JIMÉNEZ, M. L., Automatización procedimental y sesgo electrónico: el procedimiento administrativo electrónico desde la inteligencia artificial, Thomson Reuters Aranzadi, Navarra, 2021.
GONZÁLEZ ÁLVAREZ, J. L., LÓPEZ OSSORIO, J.J, MUÑOZ RIVAS, M., «La valoración policial del riesgo de violencia contra la mujer pareja en España – Sistema VioGén», Ministerio del Interior. Gobierno de España, Madrid, 2018, disponible en: https://www.interior.gob.es/opencms/pdf/archivosdocumentacion/documentacionypublicaciones/publicacionesdescargables/seguridadciudadana/La_valoracion_policial_riesgo_violencia_ontra_mujer_pareja_1287.pdf;
GROSSMAN, G.S., SOLOMON, L., D., «Computers and legal reasoning», American Bar Association Journal, Vol. 69, No. 1, 1983, pp. 66-70.
HILDEBRANT, M., «Code-driven Law: Freezing the Future and Scaling the Past», en DEAKIN, S., MARKOU, C. (Eds.), Is Law Computable: Critical Perspectives on Law and Artificial Intelligence, Hart Publishing, Oxford, 2020, pp. 67 y ss.
HUERGO LORA, A., «Una aproximación a los algoritmos desde el Derecho Administrativo», en HUERGO LORA, A. (Dir.), DÍAZ GONZÁLEZ, G. (Coord.), La regulación de los algoritmos, Thomson-Reuters Aranzadi, Cizur Menor, 2020, pp.68 y ss.
HUERGO LORA, A., «El derecho de transparencia en el acceso a los códigos fuente», en Anuario de Transparencia Local, 5/2022, Fundación Democracia y Gobierno Local, 2023, pp. 35 y ss.
HUERGO LORA, A., «Inteligencia artificial: una aproximación jurídica no catastrofista», Revista Española de Control Externo, vol. XXV, n.º 74-75, 2023
HUERGO LORA, A., «Inteligencia artificial y sanciones administrativas», Anuario de Derecho Administrativo Sancionador, 2023, pp. 275 y ss.
IGARTUA SALAVERRÍA, J., Discrecionalidad técnica, motivación y control jurisdiccional, Civitas-IVAP, 1998.
KAZIM, T., TOMLINSON, J., «Automation Bias and the Principles of Judicial Review», Judicial Review, Vol. 28, issue 1, 2023, pp.1 y ss.
KELSEN, H., Teoría pura del Derecho, 1ª ed., 2ª reimp., trad. R. J. Vernego, UNAM, México, 1982.
KELSEN, H., KLÜG, U., Normas jurídicas y análisis lógico, trad. J. Carlos Gardella, CEC, Madrid, 1988.
KLUG, U., Lógica jurídica, trad. J.D., García Bacca, Universidad Central de Venzuela, Caracas, 1961.
KRIELE, M., Introducción a la teoría del Estado. Fundamentos históricos de la legitimidad del Estado constitucional democrático, trad. E. Bulygin, Depalma, Buenos Aires, 1980
LESSIG, L., Code and Other Laws of Cyberspace, Basic Books, 1999
LOEVINGER, L., «Jurimetrics – The Next Step Forward», Minnesota Law Review, vol. 3, issue 5, 1948, pp. 455 y ss.
LUHMANN, N., Sistemas sociales. Lineamientos para una teoría general, trad. S. Pappe y B. Erker, Anthropos, Barcelona, 1998.
LUHMANN, N., La légitimation par la procédure, trad. L. K. Sosoe y S. Bouchard, Les presses de l’Université de Laval, Canada, 2001, pp. 20 y ss.
MADRID PÉREZ, A., «El uso de sistemas predictivos automatizables en la actividad decisional de las autoridades públicas: aportaciones para un análisis iusfilosófico sobre la digitalización del proceso decisional», Anuario de Filosofía del Derecho, 2024, X, pp.217 y ss.
MARTÍN DELGADO, I., «Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada», Revista de Administración Pública, núm. 180, 2009, pp. 353-386.
MARTÍNEZ GARAY, L., MONTES SUAY, F., «El uso de valoraciones del riesgo de violencia en Derecho Penal: algunas cautelas necesarias», InDret, núm. 2, 2018, pp.1 y ss.
MARTÍNEZ GARAY, L., «Problemas conceptuales y de comunicación en la evaluación del riesgo de reincidencia y su aplicación al sistema penal: el ejemplo del RisCanvi», en ORTS BERENGUER, E., ALONSO RIMO, A., ROIG TORRES, M., Peligrosidad criminal y Estado de Derecho, Tirant lo Blanch, Valencia, 2017, pp.341 y ss.
MARTÍNEZ GARAY, L., (Coord.), «Three predictive policing approaches in Spain: Viogén, RisCanvi and Veripol», disponible aquí: https://regulation.blogs.uv.es/files/2024/05/Three-predictive-policing-perspectives-web-17.06.24.pdf (última consulta, 2 de julio de 2024).
MEDINA GUERRERO, M., «El derecho a conocer los algoritmos utilizados en la toma de decisiones. Aproximación desde la perspectiva del derecho a la protección de datos personales», Teoría y Realidad Constitucional, núm.49, 2022, pp.141 y ss.
MERINO MERCHÁN, J. F., «Modelo algorítmico en un sistema "K” de legalidad ordinaria (Ensayo de normología)», Revista De Las Cortes Generales, núm.54, 2001, pp. 21-58.
MONTESINOS GARCÍA, A., «Los algoritmos que valoran el riesgo de reincidencia: En especial, el sistema Viogen», Revista de derecho y proceso penal, núm. 64, 2021, pp. 19-55
NIBLETT, B., Computer Science and Law, Cambridge University Press, Cambridge, 1980
PALMA ORTIGOSA, A., Decisiones automatizadas y protección de datos, Especial atención a los sistemas de inteligencia artificial, Dykinson, Madrid, 2022.
PARASURAMAN, R., RILEY, V., «Humans and automation: Use, misuse, disuse, abuse»», Human Factors, vol.39, issue 2, 1997, pp. 230–53
PÉREZ LUÑO, Cibernética, informática y derecho (un análisis metodológico), Bolonia, 1976.
PONCE SOLÉ, J., «Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico», Revista General de Derecho Administrativo, núm50, 2019, pp.1 y ss.
PRESNO LINERA, M.A., «La propuesta de “Ley de Inteligencia Artificial” europea», Revista de las Cortes Generales, núm.116, 2023, pp. 81 y ss.
PRESNO LINERA, M.A., «Policía predictiva y prevención de la violencia de género: el sistema VioGén», Revista de Internet, Derecho y Política, núm.39, 2023, pp. 1 y ss.
RODRÍGUEZ ÁLVAREZ, J., «Tecnología y discriminación: el sesgo de automatización en la praxis jurídica», en RODRÍGUEZ SÁNCHEZ, A. TALAVERA CORDERO, P.; DOMÍNGUEZ ÁLVAREZ, J.L., TERRÓN SANTOS, D. (Dirs.), Desafíos éticos, jurídicos y tecnológicos del avance digital, Iustel, Madrid, 2023, pp. 373 y ss.
RUSCHEMEIER, H., HONDRICH, L., «Automation bias in public administration – an interdisciplinary perspective from law and psychology», pp.1 y ss., Vol. 41, Issue 3, 2024
SAN MARTÍN SEGURA, D., «Prevención algorítmica de la violencia de género: la discrecionalidad policial como decisión tecnológica en el contexto de VIOGÉN», Estudios Penales y Criminológicos, núm.44(Ext.), 2023, pp.1 y ss.
SKITKA, L. J., MOSIER, K. L., BURDICK, M., «Does automation bias decision-making?» International Journal of Human-Computer Studies, vol.51, 1999, pp. 991-1006
SORIANO, A., «Decisiones automatizadas y discriminación: aproximación y propuestas generales», Revista General de Derecho Administrativo, núm.56, 2021, pp.1 y ss.
SORIANO, A., «El uso de la inteligencia artificial en la selección y gestión del personal de las administraciones públicas», Documentación Administrativa. Nueva época, núm.9, 2022, pp.11 y ss.
OSTER, J., «Code is code and law is law – the law of digitalization and the digitalization of law», International Journal of Law and Information Technology, vol. 29, 2021.
SOLOMON, H., «Jurimetrics», Jurimetrics Journal, vol. 8, issue 3, 1968, pp. 7 y ss.
SURDEN, H., «Computable Law and AI», en LIM, E., MORGAN, P., The Cambridge Handbook of Private Law and Artificial Intelligence, Cambridge University Press, Cambridge, 2024, pp.36 y ss.
TAHIRI MORENO, J., «El principio de presunción de falibilidad de las decisiones algorítmicas desfavorables. Una nueva garantía jurídica frente al uso de decisiones automatizadas y el uso de sistemas de inteligencia artificial en la Administración Pública», Revista Aragonesa de la Administración Pública, núm.60, 2023, pp.188 y ss.
VALERO TORRIJOS, J., «El régimen jurídico de la e-Administración. El uso de los medios informáticos y telemáticos en el procedimiento administrativo común», Ed. Comares, Granada, 2.ª ed., 2007.
VEALE, M., BRASS, I., «Administration by Algorithm? Public Management Meets Public Sector Machine Learning», en YEUNG, K., LODGE, M. (Eds.), Algorithmic Regulation, Oxford University Press, Oxford, 2019, pp.1232 y ss.
VESTRI, G., «La inteligencia artificial ante el desafío de la transparencia algorítmica: Una aproximación desde la perspectiva jurídico-administrativa», Revista Aragonesa de Administración Pública, núm. 56, 2021, pp.368 y ss.
VESTRI, G., «El acceso a la información algorítmica a partir del caso bono social vs. Fundación Ciudadana Civio», Revista General de Derecho Administrativo, núm.61, 2022, pp.1 y ss.
VON FOERSTER, H., Understanding Understanding: Essays on Cybernetics and Cognition, Springer, New York, 2003
ZALNIEURIUTE, M., BENNETT MOSSES, L., WILLIAMS, G., «The Rule of Law and Automation of Government Decision-Making», Modern Law Review, vol. 82, issue 3, 2019, pp. 425 y ss.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Patricia García Majado

This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Los autores que publican en esta revista están de acuerdo con los siguientes términos:
- La Revista de Derecho Político se distribuye bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional
- Los autores conservan los derechos de autor y garantizan a la revista el derecho de ser la primera publicación del trabajo.
- Los autores pueden establecer por separado acuerdos adicionales para la distribución no exclusiva de la versión de la obra publicada en la revista (por ejemplo, situarlo en un repositorio institucional o publicarlo en un libro), con un reconocimiento de su publicación inicial en esta revista.
- Se permite y se anima a los autores a difundir sus trabajos electrónicamente (por ejemplo, en repositorios institucionales o en su propio sitio web) antes y durante el proceso de envío, ya que puede dar lugar a intercambios productivos, así como a una citación más temprana y mayor de los trabajos publicados (Véase The Effect of Open Access) (en inglés).