¿Quién se hace responsable cuando una decisión la toma un algoritmo?
Un algoritmo puede ordenar candidatos, detectar una operación financiera inusual, recomendar contenidos o ayudar a interpretar información médica. Cuando sus resultados afectan oportunidades o derechos, surge una pregunta: ¿quién responde por lo que decide el sistema?
La inteligencia artificial (IA) no funciona en el vacío. Los sistemas se diseñan con objetivos, datos, criterios y reglas definidos por personas y organizaciones. Por eso, organismos como la OCDE y la UNESCO plantean que la transparencia, la supervisión humana, la protección de derechos y la rendición de cuentas deben acompañar su desarrollo y uso.
Una decisión automatizada no elimina la responsabilidad
La OCDE establece entre sus principios para la IA la transparencia y explicabilidad. Esto implica proporcionar información que permita comprender, cuando sea posible, los factores o procesos que condujeron a una predicción, recomendación o decisión, además de facilitar que las personas afectadas puedan cuestionar un resultado.
El problema aparece cuando una persona recibe una respuesta automática sin saber por qué fue seleccionada o excluida. Puede ocurrir al evaluar un crédito, filtrar currículums o recomendar contenidos. Si el sistema reproduce patrones presentes en sus datos de entrenamiento, una decisión aparentemente neutral puede producir resultados desiguales.
La UNESCO sitúa los derechos humanos y la dignidad en el centro de la IA, junto con transparencia, equidad y supervisión humana.
Del crédito al empleo: los algoritmos ya median decisiones
Los sistemas automatizados participan en procesos cotidianos: pueden clasificar postulantes, evaluar riesgos financieros, ordenar contenidos digitales o apoyar análisis en salud.
El resultado depende de los datos y del diseño. Por eso, importa saber qué variables utiliza el sistema y qué mecanismos existen para revisar sus resultados.
Un estudio de Unifranz sobre algoritmos y desigualdad recoge una advertencia de Verónica Ágreda, rectora de la universidad, sobre los sesgos que pueden aparecer cuando los datos de entrenamiento reflejan desigualdades históricas. En selección laboral, por ejemplo, un sistema podría reproducir patrones de baja presencia de mujeres en puestos de liderazgo.
Tecnología, derecho y criterio humano
Este escenario es interdisciplinario: Derecho analiza responsabilidades; Ingeniería de Sistemas, el diseño y auditoría; Comunicación, la relación entre algoritmos e información; Administración, los riesgos; y Psicología, sus efectos.
Marco Antonio Nogales, abogado y docente de Derecho de Unifranz, ha señalado que Bolivia enfrenta vacíos normativos frente al avance de la IA y que la legislación debe actualizarse para responder a fenómenos como el uso de datos y los sistemas automatizados.
La responsabilidad tampoco desaparece cuando interviene una herramienta tecnológica. Bernardo Wayar Caballero, abogado y presidente de la Sociedad Boliviana de Arbitraje, explica que la IA puede generar documentos o localizar información, pero estos resultados deben ser revisados por un profesional.
La supervisión humana como parte del diseño
La respuesta no consiste necesariamente en rechazar la automatización, sino en establecer condiciones para utilizarla responsablemente. La OCDE plantea supervisión humana y trazabilidad de datos, procesos y decisiones.
Esto implica saber qué sistema se utilizó, con qué información, qué controles existen y qué ocurre cuando produce un resultado incorrecto. También exige información comprensible y mecanismos para cuestionar decisiones.
La formación profesional adquiere así una nueva dimensión. Comprender la IA también significa conocer sus límites, identificar posibles sesgos, evaluar resultados y reconocer cuándo una decisión necesita intervención humana.
Determinar responsabilidades exige combinar tecnología, derecho, ética y criterio humano.