Cuando un banco deniega un préstamo y el sistema de inteligencia artificial «explica» que ha sido por el salario, casi nadie discute la explicación. João Marques-Silva se dedica a demostrar que a veces está señalando el dato equivocado. Profesor de investigación de ICREA y del IIIA-CSIC, en Bellaterra, y antes director de investigación del CNRS francés, lleva años trabajando en verificación formal y explicabilidad de la IA, y su trabajo tiene una tesis incómoda: las herramientas más usadas para explicar qué hace un modelo —SHAP, LIME, Anchors— pueden inducir a error precisamente a quien más necesita acertar. Esta semana, en «El Domingo de Iberia», responde por escrito y sin rodeos.
Nota de la redacción: el profesor Marques-Silva respondió en inglés. El texto que sigue es una traducción al español de la redacción de LaPrensaIA; sus respuestas se publican íntegras y en el orden en que las envió.
Hay una escena que se repite cada día en bancos, hospitales y juzgados de medio mundo: un sistema de inteligencia artificial toma o sugiere una decisión que afecta a una persona, y junto a esa decisión aparece una «explicación». Un listado de motivos, ordenados de mayor a menor peso. El préstamo se deniega, y lo que más ha pesado, dice la pantalla, es el salario. Quien tiene delante ese informe —el director de la sucursal, el médico, el funcionario— lo lee y actúa en consecuencia.
Antes de seguir: llévate las herramientas y prompts listos para usar, GRATIS. Probados uno a uno y ordenadas por la tarea que quieres resolver: vídeo, imagen, voz, escribir, automatizar tu negocio, clientes, web. Es gratis y la lista crece cada semana.
Entras también en el boletín semanal de La Prensa IA. Te das de baja cuando quieras, con una palabra.
João Marques-Silva lleva años preguntándose si esa explicación es verdad. Y su respuesta, respaldada por demostraciones matemáticas y no por opiniones, es que no siempre lo es: hay casos en los que el factor decisivo de verdad era otro, y la herramienta lo declaró irrelevante. Su trabajo va justo en la dirección contraria a la que ha tomado la industria: en lugar de explicaciones que suenan plausibles, explicaciones que se puedan demostrar. Es la misma exigencia que ya nos planteaba Virginia Dignum en esta misma sección desde la gobernanza, y la que empieza a aparecer en campos como la medicina, donde la explicabilidad ya no es opcional. Cuanto más se despliegan agentes de IA que deciden por su cuenta, más importa saber si lo que dicen sobre sí mismos es cierto.
Sus respuestas son breves, precisas y, en un punto, corrigen la pregunta. Las publicamos tal cual.
La entrevista
Cuando un sistema de IA da una «explicación» de su decisión, el lector corriente da por hecho que está diciendo la verdad sobre el porqué. Su trabajo demuestra que a menudo no es así. En términos llanos, ¿qué produce en realidad una herramienta como LIME o SHAP, y por qué no deberíamos confundirlo con la razón real de la decisión?
Para explicar un modelo de aprendizaje automático —por ejemplo, un clasificador de préstamos bancarios—, herramientas como LIME y SHAP ordenan las variables del modelo según su contribución a una predicción. Por ejemplo, si se deniega una solicitud de préstamo, SHAP puede informar de que la variable más importante es el salario del solicitante, seguida de su historial crediticio, de la existencia de otros préstamos, y así sucesivamente. Nuestro trabajo demostró que existen situaciones en las que las ordenaciones obtenidas con SHAP o con LIME inducen a error. En el ejemplo anterior, la variable más importante podría ser en realidad el historial médico del solicitante, y esta podría aparecer como si no influyera en la decisión de denegar el préstamo.
Que SHAP o LIME puedan inducir a error tiene consecuencias importantes a la hora de confiar en los resultados que estas herramientas ofrecen. Nuestro trabajo también ha demostrado que los métodos de explicabilidad que calculan reglas como explicación —un ejemplo muy conocido es Anchors— pueden ofrecer igualmente reglas que no son lógicamente correctas. Esto puede llevar a quienes toman decisiones a sacar conclusiones que ni el modelo ni los datos respaldan del todo.
La «explicabilidad» se ha convertido en la respuesta tranquilizadora a la que recurren reguladores y empresas ante una IA opaca. Desde su posición, ¿qué se está prometiendo exactamente que hoy no se puede cumplir, y dónde es más peligrosa esa brecha: en la medicina, en el crédito, en la justicia?
Nuestro trabajo ha demostrado que métodos de explicabilidad de uso muy extendido, entre ellos SHAP, LIME y Anchors, pueden llevar a error a quienes toman decisiones. Por tanto, la IA fiable no puede alcanzarse con esos métodos de explicabilidad. A su vez, el uso de métodos de explicabilidad en los que no se puede confiar debería preocupar especialmente en las áreas que afectan directamente a las personas. La medicina, la justicia y el crédito son ejemplos de áreas en las que esto ocurre.
Usted traza una línea entre las explicaciones que simplemente suenan plausibles y las que vienen con garantía. ¿Qué significa que una explicación sea «formalmente correcta», y por qué es más difícil —y más raro— de lo que el debate actual deja ver?
Las explicaciones «formalmente correctas» se calculan con un enfoque basado en la lógica. La lógica puede usarse para razonar sobre el modelo de aprendizaje automático, pero también para razonar sobre los datos que se quieren explicar. Las explicaciones basadas en la lógica, por definición, están garantizadas como correctas, dado el modelo o dados los datos de los que se parte.
Un miedo concreto para quien no es experto: ¿podrían dos de estas herramientas, mirando la misma decisión, entregar a una persona dos explicaciones distintas y contradictorias? Y si es así, ¿qué debería tener derecho a exigir alguien a quien se le niega un préstamo o un diagnóstico?
Sí, es concebible que ocurra. Es más: aunque hemos identificado explicaciones erróneas en varios casos de uso, todavía no nos hemos encontrado con la situación concreta de explicaciones distintas y contradictorias entre sí. Sin embargo, sí hemos encontrado casos en los que la explicación es inconsistente con el ejemplo que se está explicando, o en los que la explicación es inconsistente con los datos de partida. Estas situaciones son, por sí mismas, muy problemáticas.
Buena parte de su enfoque se apoya en la verificación formal y en la lógica, y no en la estadística que domina la IA moderna. Para un lector que da por hecho que «más datos y modelos más grandes» es siempre el camino, ¿qué ofrece la vía lógica y demostrable que la puramente estadística no puede ofrecer?
Quiero subrayar que nuestro trabajo no ha cuestionado el uso de los métodos estadísticos en la IA. Es un campo de investigación bien asentado que desempeña un papel fundamental en el aprendizaje de los modelos. Lo que nuestro trabajo ha cuestionado es el uso de métodos estadísticos que carecen de una base teórica sólida para explicar los modelos de aprendizaje automático. Dicho de otro modo: los métodos estadísticos son fundamentales para aprender modelos; sin embargo, los usos actuales de los métodos estadísticos para explicar esos modelos son extremadamente problemáticos, como ha demostrado nuestro trabajo.
Si pudiera hacer que una sola exigencia quedara escrita en la forma en que se despliegan estos sistemas —una línea que un regulador o un ingeniero tuviera que respetar—, ¿cuál sería, y qué cambiaría el día en que entrara en vigor?
Para las aplicaciones de alto riesgo o críticas para la seguridad, las explicaciones formalmente correctas deberían ser un requisito de primer orden. Hasta donde sabemos, cualquier otro enfoque existente está condenado a inducir a error a quienes toman decisiones, y eso podría tener consecuencias catastróficas.
Ficha · El entrevistado
João Marques-Silva es profesor de investigación de ICREA (Institució Catalana de Recerca i Estudis Avançats) y del IIIA-CSIC, el Instituto de Investigación en Inteligencia Artificial del Consejo Superior de Investigaciones Científicas, en Bellaterra (Cataluña). Entre 2020 y 2024 fue director de investigación (Directeur de Recherche) del CNRS, en Francia. Su investigación se centra en la verificación formal y en la explicabilidad de los sistemas de inteligencia artificial: cómo demostrar, con lógica y no con aproximaciones, qué hace un modelo y por qué. Entrevista realizada por correo para «El Domingo de Iberia» de LaPrensaIA. El entrevistado respondió en inglés; traducción y edición de estilo de la redacción.
Foto cortesía de João Marques-Silva.
Contenido elaborado con la asistencia tecnológica de IBERIA y supervisión editorial. Fermín Sánchez es el responsable editorial de LaPrensaIA, diario de divulgación sobre inteligencia artificial. Cubrimos la actualidad de la IA con criterio propio —tecnología, empresas y sociedad— de forma clara para el público no técnico.
