{"id":472,"date":"2026-07-15T18:19:12","date_gmt":"2026-07-15T16:19:12","guid":{"rendered":"https:\/\/lauragarcialaguna.com\/?p=472"},"modified":"2026-07-15T21:57:09","modified_gmt":"2026-07-15T19:57:09","slug":"shap-y-lime-como-se-explica-una-inteligencia-artificial-y-por-que-nadie-sabe-todavia-si-basta-para-el-articulo-86-del-ria","status":"publish","type":"post","link":"https:\/\/lauragarcialaguna.com\/en\/shap-y-lime-como-se-explica-una-inteligencia-artificial-y-por-que-nadie-sabe-todavia-si-basta-para-el-articulo-86-del-ria\/","title":{"rendered":"SHAP y LIME: c\u00f3mo se explica una inteligencia artificial"},"content":{"rendered":"

A una persona le deniegan un cr\u00e9dito. O una beca. O el acceso a una oferta de empleo. Detr\u00e1s de esa decisi\u00f3n hay un sistema de inteligencia artificial que ha procesado decenas de variables y ha devuelto una puntuaci\u00f3n. La persona pregunta lo \u00fanico que cualquiera preguntar\u00eda: \u00bfpor qu\u00e9?<\/strong><\/p>\n\n

El art\u00edculo 86 del Reglamento de IA le reconoce el derecho a obtener una respuesta<\/strong>. Y ah\u00ed empieza el problema, porque explicar una decisi\u00f3n algor\u00edtmica no es tan sencillo como abrir el motor y se\u00f1alar la pieza que fall\u00f3.<\/p>\n\n

Para resolverlo, la comunidad t\u00e9cnica lleva a\u00f1os trabajando en dos herramientas que se han convertido en el est\u00e1ndar de facto: LIME y SHAP. Conviene entenderlas bien, porque cada vez van a aparecer m\u00e1s en informes de cumplimiento y en auditor\u00edas. Y conviene entender tambi\u00e9n algo que casi nadie est\u00e1 diciendo en voz alta: que no sabemos si son suficientes<\/strong>.<\/p>\n\n

El problema de la caja negra<\/h2>\n\n

Muchos de los modelos que hoy toman o apoyan decisiones relevantes no son ecuaciones que un humano pueda leer. Una red neuronal profunda o un conjunto de miles de \u00e1rboles de decisi\u00f3n funcionan razonablemente bien, pero no vienen con una explicaci\u00f3n incorporada. Sabemos lo que entra y lo que sale. No sabemos, en un sentido intuitivo, por qu\u00e9 ni c\u00f3mo lo hace cada vez.<\/strong><\/p>\n\n

A esto se le llama el problema de la caja negra. Y no se resuelve pidi\u00e9ndole al modelo que hable, porque el modelo no tiene un relato de s\u00ed mismo. Lo que se hace, en su lugar, es construir una explicaci\u00f3n desde fuera, observando su comportamiento. De ah\u00ed nace lo que llamamos explicabilidad \u00abpost-hoc\u00bb: explicaciones que llegan despu\u00e9s, y desde afuera, de la decisi\u00f3n ya tomada<\/strong>.<\/p>\n\n

Ese matiz \u2014despu\u00e9s y desde fuera\u2014 parece t\u00e9cnico. Es, en realidad, el coraz\u00f3n jur\u00eddico de todo este art\u00edculo<\/strong>.<\/p>\n\n

LIME: mirar de cerca en vez de mirar de lejos<\/h2>\n\n

LIME son las siglas de \u00abLocal Interpretable Model-agnostic Explanations\u00bb, y su idea es de una elegancia notable<\/strong>.<\/p>\n\n

Si un modelo es demasiado complejo para entenderlo entero, dejemos de intentar entenderlo entero. Concentr\u00e9monos en un \u00fanico caso: la decisi\u00f3n concreta que afecta a esta persona concreta. Alrededor de ese caso, el modelo se comporta de una forma mucho m\u00e1s simple. De una forma local.<\/strong><\/p>\n\n

La met\u00e1fora es la de una cordillera, quiz\u00e1s. Nadie puede describir la forma completa de una cordillera con una f\u00f3rmula sencilla. Pero si te sit\u00faas en un punto exacto de la ladera y miras solo el metro cuadrado que pisas, esa superficie se parece bastante a un plano inclinado<\/strong>. Y un plano inclinado s\u00ed se puede describir. Y quiz\u00e1s es esa la \u00fanica parte que realmente necesitas.<\/p>\n\n

Eso hace LIME. Toma el caso que quieres explicar, genera muchas variantes ligeramente modificadas de ese caso, le pregunta al modelo qu\u00e9 responder\u00eda a cada una, y con esas respuestas construye un modelo sencillo \u2014normalmente una recta\u2014 que imita el comportamiento del modelo original en ese punto<\/strong>. Despu\u00e9s te ense\u00f1a los coeficientes de esa recta: qu\u00e9 variables empujaron la decisi\u00f3n hacia un lado y cu\u00e1les hacia el otro.<\/p>\n\n

Es intuitivo y funciona con cualquier modelo, sin necesidad de abrirlo. Pero conviene retener una cosa: lo que LIME te muestra no es el modelo. Es una imitaci\u00f3n local del modelo.<\/strong> Un sustituto peque\u00f1o.<\/p>\n\n

SHAP: repartir el m\u00e9rito de forma justa<\/h2>\n\n

SHAP viene de \u00abSHapley Additive exPlanations\u00bb y su origen no est\u00e1 en la inform\u00e1tica, sino en la teor\u00eda de juegos<\/strong>. En 1953, el matem\u00e1tico Lloyd Shapley se plante\u00f3 un problema aparentemente dom\u00e9stico: si varias personas colaboran y obtienen un beneficio conjunto, \u00bfc\u00f3mo se reparte ese beneficio de forma justa entre ellas?<\/p>\n\n

Su respuesta fue medir, para cada jugador, cu\u00e1nto aporta de media al entrar en el equipo<\/strong>, considerando todas las combinaciones posibles de compa\u00f1eros. Si el equipo rinde igual contigo que sin ti, tu contribuci\u00f3n es cero. Si sin ti se hunde, tu contribuci\u00f3n es grande.<\/p>\n\n

SHAP traslada esa idea a los modelos. Cada variable es un jugador. La predicci\u00f3n es el beneficio a repartir. Y el valor SHAP de cada variable es su contribuci\u00f3n media a mover la decisi\u00f3n<\/strong> desde un punto de partida \u2014lo que el modelo predecir\u00eda \u00abde media\u00bb, sin saber nada de ti\u2014 hasta la decisi\u00f3n que efectivamente se tom\u00f3 contigo.<\/p>\n\n

Tiene una propiedad que a los juristas nos resulta muy atractiva: es aditiva<\/strong>. La suma de todas las contribuciones, partiendo del valor base, da exactamente la predicci\u00f3n final. No sobra ni falta nada. Sobre el papel, un reparto completo y sin sobrantes.<\/p>\n\n

El problema est\u00e1 en calcular todas las combinaciones posibles de variables, ya que es inabordable en cuanto hay unas pocas decenas. Por eso, en la pr\u00e1ctica, SHAP casi siempre se \u00abaproxima\u00bb. Y algunas de esas aproximaciones asumen que las variables son independientes entre s\u00ed<\/strong>, cosa que en el mundo real \u2014donde el c\u00f3digo postal, la renta y el historial crediticio se abrazan\u2014 rara vez ocurre.<\/p>\n\n

Lo que ambas comparten<\/h2>\n\n

Aqu\u00ed es donde conviene detenerse, porque las dos t\u00e9cnicas comparten exactamente las mismas dos caracter\u00edsticas. Y son las dos que el Derecho todav\u00eda no ha digerido<\/strong>.<\/p>\n\n

Son \u00abpost-hoc\u00bb: no describen el razonamiento interno del sistema, sino que reconstruyen una explicaci\u00f3n plausible observando su conducta desde fuera. Y son locales: explican una decisi\u00f3n, la tuya, no la l\u00f3gica general del sistema<\/strong>.<\/p>\n\n

Dicho de otro modo: SHAP y LIME no te ense\u00f1an c\u00f3mo piensa el modelo<\/strong>. Te ofrecen una historia coherente sobre c\u00f3mo podr\u00eda haber pensado, en tu caso, si fuese m\u00e1s simple de lo que es.<\/p>\n\n

Lo que el art\u00edculo 86 pide de verdad<\/h2>\n\n

Merece la pena leerlo despacio, porque casi nadie lo hace<\/strong>.<\/p>\n\n

El art\u00edculo 86 reconoce a la persona afectada por una decisi\u00f3n adoptada por el responsable del despliegue sobre la base del resultado de un sistema de alto riesgo del Anexo III \u2014con la excepci\u00f3n de los sistemas del punto 2\u2014 que produzca efectos jur\u00eddicos o le afecte significativamente de manera similar y perjudicial para su salud, su seguridad o sus derechos fundamentales, el derecho a obtener \u00abexplicaciones claras y significativas sobre el papel del sistema de IA en el procedimiento de toma de decisiones y sobre los principales elementos de la decisi\u00f3n adoptada\u00bb<\/strong>.<\/p>\n\n

Hay tres cosas en esa frase que suelen pasarse por alto<\/strong>.<\/p>\n\n

La primera: la obligaci\u00f3n recae sobre quien usa el sistema, no sobre quien lo fabrica<\/strong>. La entidad financiera, no el proveedor del modelo.<\/p>\n\n

La segunda: no se pide un volcado t\u00e9cnico<\/strong>. Se piden explicaciones \u00abclaras y significativas\u00bb, y se piden respecto de dos cosas distintas: el papel del sistema en el procedimiento \u2014es decir, cu\u00e1nto pes\u00f3 la m\u00e1quina en la decisi\u00f3n, qui\u00e9n decidi\u00f3 realmente, qu\u00e9 supervisi\u00f3n humana hubo\u2014 y los principales elementos de la decisi\u00f3n.<\/p>\n\n

La tercera: el art\u00edculo es subsidiario<\/strong>. Solo se aplica en la medida en que ese derecho no est\u00e9 ya previsto en otra norma de la Uni\u00f3n. Y ah\u00ed est\u00e1 el RGPD.<\/p>\n\n

Conviene a\u00f1adir un dato de actualidad. Tras el acuerdo del llamado Digital Omnibus, respaldado por el Parlamento Europeo en junio de 2026 y confirmado por el Consejo poco despu\u00e9s, las obligaciones para los sistemas de alto riesgo del Anexo III se han desplazado a diciembre de 2027<\/strong>. Como el derecho del art\u00edculo 86 se activa precisamente respecto de esos sistemas, su exigibilidad pr\u00e1ctica camina de la mano de ese calendario. Hay m\u00e1s tiempo. Tambi\u00e9n hay m\u00e1s incertidumbre.<\/p>\n\n

Entonces, \u00bfSHAP y LIME cumplen el art\u00edculo 86?<\/h2>\n\n

Pues a\u00fan no lo sabemos.<\/strong><\/p>\n\n

No existe, hoy, un pronunciamiento supervisor que diga que aplicar SHAP o LIME satisface el art\u00edculo 86.<\/strong> Ni una gu\u00eda de la Comisi\u00f3n, ni un criterio de la Oficina de IA, ni una posici\u00f3n consolidada de las autoridades nacionales. Las normas armonizadas siguen retrasadas en este punto. Nadie ha certificado que un gr\u00e1fico de contribuciones sea una explicaci\u00f3n en sentido jur\u00eddico.<\/p>\n\n

Lo que s\u00ed puede decirse es lo siguiente. T\u00e9cnicamente, ambas herramientas permiten identificar qu\u00e9 variables resultaron relevantes en un caso concreto y con qu\u00e9 peso. Eso se acerca a lo que el art\u00edculo 86 llama \u00ablos principales elementos de la decisi\u00f3n adoptada\u00bb. Es, sin duda, mucho mejor que el silencio<\/strong>.<\/p>\n\n

Las cuatro grietas<\/h2>\n\n

La primera grieta es que aproximan. LIME construye un modelo sustituto; SHAP estima valores que ser\u00eda inviable calcular de forma exacta. Lo que se le entrega a la persona afectada no es, en rigor, la raz\u00f3n de la decisi\u00f3n: es la mejor reconstrucci\u00f3n disponible de esa raz\u00f3n<\/strong>. Un jurista sabe que no es lo mismo un hecho probado que un indicio muy convincente.<\/p>\n\n

La segunda es que son locales. Explican el resultado, pero no dicen absolutamente nada sobre el papel que el sistema jug\u00f3 en el procedimiento. Y eso es, literalmente, la mitad de lo que exige el art\u00edculo 86<\/strong>. Ning\u00fan valor SHAP te dir\u00e1 si hubo supervisi\u00f3n humana efectiva, si el humano pod\u00eda apartarse del resultado o si se limit\u00f3 a firmar debajo.<\/p>\n\n

La tercera es que no son causales. Saber que la variable \u00abantig\u00fcedad laboral\u00bb pes\u00f3 un 12% no responde a la pregunta que de verdad le importa a la persona: \u00bfqu\u00e9 tendr\u00eda que haber sido distinto para que la decisi\u00f3n hubiera sido otra?<\/strong> Esa es una explicaci\u00f3n que ni SHAP ni LIME ofrecen por s\u00ed solas.<\/p>\n\n

La cuarta es que estas t\u00e9cnicas pueden discrepar entre s\u00ed. Existe literatura consolidada que muestra que SHAP y LIME llegan a atribuciones distintas sobre la misma predicci\u00f3n, y que es posible construir un modelo discriminatorio que, ante estos explicadores, aparente ser inocuo<\/strong>.<\/p>\n\n

La \u00fanica pista que tenemos<\/h2>\n\n

Como el Reglamento de IA todav\u00eda no ha hablado, hay que mirar donde s\u00ed se ha hablado. Y ah\u00ed est\u00e1 la sentencia del Tribunal de Justicia de la Uni\u00f3n Europea en el asunto \u00abDun & Bradstreet Austria\u00bb (C-203\/22)<\/strong>, de febrero de 2025, dictada sobre el derecho de acceso del RGPD y la \u00abinformaci\u00f3n significativa sobre la l\u00f3gica aplicada\u00bb.<\/p>\n\n

El Tribunal dijo dos cosas que resuenan con fuerza aqu\u00ed. Que la informaci\u00f3n significativa consiste en describir, de forma concisa, transparente, inteligible y f\u00e1cilmente accesible, los procedimientos y principios efectivamente aplicados, de modo que la persona pueda comprender el porqu\u00e9 de la decisi\u00f3n. Y que entregar el algoritmo o una descripci\u00f3n t\u00e9cnica compleja no cumple esa exigencia<\/strong>.<\/p>\n\n

Si trasladamos ese est\u00e1ndar al art\u00edculo 86, la conclusi\u00f3n provisional se dibuja sola: un diagrama de valores SHAP, entregado tal cual a la persona afectada, dif\u00edcilmente ser\u00e1 \u00abclaro y significativo\u00bb<\/strong>.<\/p>\n\n

El vac\u00edo<\/h2>\n\n

Tenemos una norma que exige explicaciones claras y significativas. Tenemos una industria que ha decidido, por consenso, que esas explicaciones se producen con SHAP y con LIME. Y no tenemos absolutamente ninguna autoridad que haya dicho si eso vale<\/strong>.<\/p>\n\n

En ese hueco es donde se van a mover, durante los pr\u00f3ximos a\u00f1os, los departamentos de cumplimiento, los auditores y los abogados. Se van a firmar informes que den por bueno un m\u00e9todo cuya suficiencia jur\u00eddica est\u00e1 sin resolver. Y cuando llegue el primer litigio serio, la pregunta no ser\u00e1 si se us\u00f3 SHAP. Ser\u00e1 si la persona entendi\u00f3 algo de ese informe.<\/strong><\/p>\n\n

Qu\u00e9 hacer mientras tanto<\/h2>\n\n

Mientras el vac\u00edo se llena, la prudencia sugiere algunas cosas<\/strong>.<\/p>\n\n

Usar SHAP y LIME, s\u00ed, pero como materia prima y no como producto terminado<\/strong>. Traducir sus resultados a lenguaje natural, comprensible para alguien que no ha visto un gr\u00e1fico de dispersi\u00f3n en su vida. Acompa\u00f1arlos de explicaciones contraf\u00e1cticas, que son las que de verdad permiten a una persona actuar. Documentar por separado, y con cuidado, el papel humano en el procedimiento. Y sobre todo, resistir la tentaci\u00f3n de confundir el instrumento con la obligaci\u00f3n. El art\u00edculo 86 no pide que ejecutes un m\u00e9todo. Pide que una persona comprenda una decisi\u00f3n que ha cambiado algo en su vida.<\/strong><\/p>\n\n

SHAP y LIME son avances extraordinarios de la ingenier\u00eda, y el Derecho har\u00eda mal en despreciarlos. Pero tambi\u00e9n har\u00eda mal en aceptarlos, sin m\u00e1s, como el cumplimiento de un derecho fundamental que todav\u00eda nadie ha interpretado<\/strong>.<\/p>\n\n

Durante un tiempo tendremos que convivir con esta incomodidad: la de aplicar un art\u00edculo cuya exigencia entendemos, con unas herramientas cuya suficiencia desconocemos<\/strong>. No es una situaci\u00f3n c\u00f3moda para un jurista.<\/p>\n\n

Referencias<\/h2>\n\n