A una persona le deniegan un crédito. O una beca. O el acceso a una oferta de empleo. Detrás de esa decisión hay un sistema de inteligencia artificial que ha procesado decenas de variables y ha devuelto una puntuación. La persona pregunta lo único que cualquiera preguntaría: ¿por qué?
El artículo 86 del Reglamento de IA le reconoce el derecho a obtener una respuesta. Y ahí empieza el problema, porque explicar una decisión algorítmica no es tan sencillo como abrir el motor y señalar la pieza que falló.
Para resolverlo, la comunidad técnica lleva años trabajando en dos herramientas que se han convertido en el estándar de facto: LIME y SHAP. Conviene entenderlas bien, porque cada vez van a aparecer más en informes de cumplimiento y en auditorías. Y conviene entender también algo que casi nadie está diciendo en voz alta: que no sabemos si son suficientes.
El problema de la caja negra
Muchos de los modelos que hoy toman o apoyan decisiones relevantes no son ecuaciones que un humano pueda leer. Una red neuronal profunda o un conjunto de miles de árboles de decisión funcionan razonablemente bien, pero no vienen con una explicación incorporada. Sabemos lo que entra y lo que sale. No sabemos, en un sentido intuitivo, por qué ni cómo lo hace cada vez.
A esto se le llama el problema de la caja negra. Y no se resuelve pidiéndole al modelo que hable, porque el modelo no tiene un relato de sí mismo. Lo que se hace, en su lugar, es construir una explicación desde fuera, observando su comportamiento. De ahí nace lo que llamamos explicabilidad «post-hoc»: explicaciones que llegan después, y desde afuera, de la decisión ya tomada.
Ese matiz —después y desde fuera— parece técnico. Es, en realidad, el corazón jurídico de todo este artículo.
LIME: mirar de cerca en vez de mirar de lejos
LIME son las siglas de «Local Interpretable Model-agnostic Explanations», y su idea es de una elegancia notable.
Si un modelo es demasiado complejo para entenderlo entero, dejemos de intentar entenderlo entero. Concentrémonos en un único caso: la decisión concreta que afecta a esta persona concreta. Alrededor de ese caso, el modelo se comporta de una forma mucho más simple. De una forma local.
La metáfora es la de una cordillera, quizás. Nadie puede describir la forma completa de una cordillera con una fórmula sencilla. Pero si te sitúas en un punto exacto de la ladera y miras solo el metro cuadrado que pisas, esa superficie se parece bastante a un plano inclinado. Y un plano inclinado sí se puede describir. Y quizás es esa la única parte que realmente necesitas.
Eso hace LIME. Toma el caso que quieres explicar, genera muchas variantes ligeramente modificadas de ese caso, le pregunta al modelo qué respondería a cada una, y con esas respuestas construye un modelo sencillo —normalmente una recta— que imita el comportamiento del modelo original en ese punto. Después te enseña los coeficientes de esa recta: qué variables empujaron la decisión hacia un lado y cuáles hacia el otro.
Es intuitivo y funciona con cualquier modelo, sin necesidad de abrirlo. Pero conviene retener una cosa: lo que LIME te muestra no es el modelo. Es una imitación local del modelo. Un sustituto pequeño.
SHAP: repartir el mérito de forma justa
SHAP viene de «SHapley Additive exPlanations» y su origen no está en la informática, sino en la teoría de juegos. En 1953, el matemático Lloyd Shapley se planteó un problema aparentemente doméstico: si varias personas colaboran y obtienen un beneficio conjunto, ¿cómo se reparte ese beneficio de forma justa entre ellas?
Su respuesta fue medir, para cada jugador, cuánto aporta de media al entrar en el equipo, considerando todas las combinaciones posibles de compañeros. Si el equipo rinde igual contigo que sin ti, tu contribución es cero. Si sin ti se hunde, tu contribución es grande.
SHAP traslada esa idea a los modelos. Cada variable es un jugador. La predicción es el beneficio a repartir. Y el valor SHAP de cada variable es su contribución media a mover la decisión desde un punto de partida —lo que el modelo predeciría «de media», sin saber nada de ti— hasta la decisión que efectivamente se tomó contigo.
Tiene una propiedad que a los juristas nos resulta muy atractiva: es aditiva. La suma de todas las contribuciones, partiendo del valor base, da exactamente la predicción final. No sobra ni falta nada. Sobre el papel, un reparto completo y sin sobrantes.
El problema está en calcular todas las combinaciones posibles de variables, ya que es inabordable en cuanto hay unas pocas decenas. Por eso, en la práctica, SHAP casi siempre se «aproxima». Y algunas de esas aproximaciones asumen que las variables son independientes entre sí, cosa que en el mundo real —donde el código postal, la renta y el historial crediticio se abrazan— rara vez ocurre.
Lo que ambas comparten
Aquí es donde conviene detenerse, porque las dos técnicas comparten exactamente las mismas dos características. Y son las dos que el Derecho todavía no ha digerido.
Son «post-hoc»: no describen el razonamiento interno del sistema, sino que reconstruyen una explicación plausible observando su conducta desde fuera. Y son locales: explican una decisión, la tuya, no la lógica general del sistema.
Dicho de otro modo: SHAP y LIME no te enseñan cómo piensa el modelo. Te ofrecen una historia coherente sobre cómo podría haber pensado, en tu caso, si fuese más simple de lo que es.
Lo que el artículo 86 pide de verdad
Merece la pena leerlo despacio, porque casi nadie lo hace.
El artículo 86 reconoce a la persona afectada por una decisión adoptada por el responsable del despliegue sobre la base del resultado de un sistema de alto riesgo del Anexo III —con la excepción de los sistemas del punto 2— que produzca efectos jurídicos o le afecte significativamente de manera similar y perjudicial para su salud, su seguridad o sus derechos fundamentales, el derecho a obtener «explicaciones claras y significativas sobre el papel del sistema de IA en el procedimiento de toma de decisiones y sobre los principales elementos de la decisión adoptada».
Hay tres cosas en esa frase que suelen pasarse por alto.
La primera: la obligación recae sobre quien usa el sistema, no sobre quien lo fabrica. La entidad financiera, no el proveedor del modelo.
La segunda: no se pide un volcado técnico. Se piden explicaciones «claras y significativas», y se piden respecto de dos cosas distintas: el papel del sistema en el procedimiento —es decir, cuánto pesó la máquina en la decisión, quién decidió realmente, qué supervisión humana hubo— y los principales elementos de la decisión.
La tercera: el artículo es subsidiario. Solo se aplica en la medida en que ese derecho no esté ya previsto en otra norma de la Unión. Y ahí está el RGPD.
Conviene añadir un dato de actualidad. Tras el acuerdo del llamado Digital Omnibus, respaldado por el Parlamento Europeo en junio de 2026 y confirmado por el Consejo poco después, las obligaciones para los sistemas de alto riesgo del Anexo III se han desplazado a diciembre de 2027. Como el derecho del artículo 86 se activa precisamente respecto de esos sistemas, su exigibilidad práctica camina de la mano de ese calendario. Hay más tiempo. También hay más incertidumbre.
Entonces, ¿SHAP y LIME cumplen el artículo 86?
Pues aún no lo sabemos.
No existe, hoy, un pronunciamiento supervisor que diga que aplicar SHAP o LIME satisface el artículo 86. Ni una guía de la Comisión, ni un criterio de la Oficina de IA, ni una posición consolidada de las autoridades nacionales. Las normas armonizadas siguen retrasadas en este punto. Nadie ha certificado que un gráfico de contribuciones sea una explicación en sentido jurídico.
Lo que sí puede decirse es lo siguiente. Técnicamente, ambas herramientas permiten identificar qué variables resultaron relevantes en un caso concreto y con qué peso. Eso se acerca a lo que el artículo 86 llama «los principales elementos de la decisión adoptada». Es, sin duda, mucho mejor que el silencio.
Las cuatro grietas
La primera grieta es que aproximan. LIME construye un modelo sustituto; SHAP estima valores que sería inviable calcular de forma exacta. Lo que se le entrega a la persona afectada no es, en rigor, la razón de la decisión: es la mejor reconstrucción disponible de esa razón. Un jurista sabe que no es lo mismo un hecho probado que un indicio muy convincente.
La segunda es que son locales. Explican el resultado, pero no dicen absolutamente nada sobre el papel que el sistema jugó en el procedimiento. Y eso es, literalmente, la mitad de lo que exige el artículo 86. Ningún valor SHAP te dirá si hubo supervisión humana efectiva, si el humano podía apartarse del resultado o si se limitó a firmar debajo.
La tercera es que no son causales. Saber que la variable «antigüedad laboral» pesó un 12% no responde a la pregunta que de verdad le importa a la persona: ¿qué tendría que haber sido distinto para que la decisión hubiera sido otra? Esa es una explicación que ni SHAP ni LIME ofrecen por sí solas.
La cuarta es que estas técnicas pueden discrepar entre sí. Existe literatura consolidada que muestra que SHAP y LIME llegan a atribuciones distintas sobre la misma predicción, y que es posible construir un modelo discriminatorio que, ante estos explicadores, aparente ser inocuo.
La única pista que tenemos
Como el Reglamento de IA todavía no ha hablado, hay que mirar donde sí se ha hablado. Y ahí está la sentencia del Tribunal de Justicia de la Unión Europea en el asunto «Dun & Bradstreet Austria» (C-203/22), de febrero de 2025, dictada sobre el derecho de acceso del RGPD y la «información significativa sobre la lógica aplicada».
El Tribunal dijo dos cosas que resuenan con fuerza aquí. Que la información significativa consiste en describir, de forma concisa, transparente, inteligible y fácilmente accesible, los procedimientos y principios efectivamente aplicados, de modo que la persona pueda comprender el porqué de la decisión. Y que entregar el algoritmo o una descripción técnica compleja no cumple esa exigencia.
Si trasladamos ese estándar al artículo 86, la conclusión provisional se dibuja sola: un diagrama de valores SHAP, entregado tal cual a la persona afectada, difícilmente será «claro y significativo».
El vacío
Tenemos una norma que exige explicaciones claras y significativas. Tenemos una industria que ha decidido, por consenso, que esas explicaciones se producen con SHAP y con LIME. Y no tenemos absolutamente ninguna autoridad que haya dicho si eso vale.
En ese hueco es donde se van a mover, durante los próximos años, los departamentos de cumplimiento, los auditores y los abogados. Se van a firmar informes que den por bueno un método cuya suficiencia jurídica está sin resolver. Y cuando llegue el primer litigio serio, la pregunta no será si se usó SHAP. Será si la persona entendió algo de ese informe.
Qué hacer mientras tanto
Mientras el vacío se llena, la prudencia sugiere algunas cosas.
Usar SHAP y LIME, sí, pero como materia prima y no como producto terminado. Traducir sus resultados a lenguaje natural, comprensible para alguien que no ha visto un gráfico de dispersión en su vida. Acompañarlos de explicaciones contrafácticas, que son las que de verdad permiten a una persona actuar. Documentar por separado, y con cuidado, el papel humano en el procedimiento. Y sobre todo, resistir la tentación de confundir el instrumento con la obligación. El artículo 86 no pide que ejecutes un método. Pide que una persona comprenda una decisión que ha cambiado algo en su vida.
SHAP y LIME son avances extraordinarios de la ingeniería, y el Derecho haría mal en despreciarlos. Pero también haría mal en aceptarlos, sin más, como el cumplimiento de un derecho fundamental que todavía nadie ha interpretado.
Durante un tiempo tendremos que convivir con esta incomodidad: la de aplicar un artículo cuya exigencia entendemos, con unas herramientas cuya suficiencia desconocemos. No es una situación cómoda para un jurista.
Referencias
- Reglamento (UE) 2024/1689, artículo 86 — Derecho a la explicación de las decisiones tomadas individualmente.
- Sentencia del Tribunal de Justicia de la Unión Europea de 27 de febrero de 2025, asunto C-203/22, «Dun & Bradstreet Austria».
- Ribeiro, Singh y Guestrin (2016), «Why Should I Trust You?: Explaining the Predictions of Any Classifier» (LIME).
- Lundberg y Lee (2017), «A Unified Approach to Interpreting Model Predictions» (SHAP).
- Slack y otros (2020), «Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods».
- Rudin (2019), «Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead».
Este artículo contiene información jurídica de carácter general y no constituye asesoramiento legal.
