El problema
En medicina no basta con que una IA acierte: el profesional debe entender por qué confiar, dudar o actuar.
Muchos sistemas clínicos de IA intentan resolver el problema de la confianza mostrando explicaciones. Por ejemplo, enseñan qué variables empujaron una predicción, qué zona de una imagen influyó o qué factores aumentan el riesgo.
La intención es buena, pero el hospital es un entorno rápido, complejo y con muchas interrupciones. Una explicación puede ser técnicamente correcta y aun así ser poco útil si exige demasiado esfuerzo para entenderla.
El trabajo pregunta algo muy concreto: ¿qué necesitan realmente los profesionales sanitarios de una explicación de IA dentro de un sistema hospitalario de apoyo a la decisión?
Por qué es difícil
El tiempo clínico es limitado
Una explicación que requiere varios minutos puede ser inviable en urgencias, UCI o una guardia con muchas decisiones simultáneas.
Más detalle puede empeorar
Mostrar muchos puntos, variables o porcentajes no siempre aumenta la comprensión; a veces solo añade ruido.
La confianza se gana con uso
Los profesionales no confían solo porque aparezca un gráfico: miran rendimiento, datos, evidencia y coherencia con el caso.
La autonomía importa
Si la herramienta parece imponer una decisión, puede generar rechazo, sobreuso o pérdida de pensamiento crítico.
La idea principal
La idea fuerte del artículo es que la explicabilidad debe diseñarse desde el trabajo clínico real. No se trata de enseñar todo lo que sabe el modelo, sino de mostrar lo justo para que el profesional pueda comprobar, decidir y actuar.
Los autores encuentran que las explicaciones se usan sobre todo para validar la salida de la IA: comprobar si la recomendación tiene sentido, si encaja con el paciente y si merece modificar una decisión.
Esto conecta con tus trabajos sobre decision support y AI-in-the-loop: la explicación no es decoración. Es una parte del proceso de decisión, y por tanto debe reducir incertidumbre, no crear una pantalla más que interpretar.
Una explicación clínica útil no es la más completa, sino la que ayuda a decidir mejor sin romper el flujo de trabajo.
Una forma sencilla de verlo
Es como el salpicadero de un coche: no muestra toda la ingeniería del motor, sino señales claras para conducir, detectar riesgo y actuar a tiempo.
Cómo se resolvió
Los autores hicieron una revisión de alcance sobre estudios cualitativos que recogían la experiencia de profesionales hospitalarios con sistemas de CDS basados en XAI.
Acotar el tipo de sistemas
Incluyeron sistemas hospitalarios de apoyo a la decisión clínica que incorporaban técnicas de IA explicable y habían sido usados o evaluados por profesionales sanitarios.
Buscar evidencia cualitativa
Revisaron MEDLINE, Embase y Web of Science hasta el 15 de junio de 2024, además de listas de referencias de trabajos relevantes.
Extraer percepciones de usuarios
Codificaron resultados sobre utilidad percibida, impacto en el flujo de trabajo, formación, confianza, autonomía, necesidades de explicación y diseño.
Valorar calidad metodológica
Usaron la lista CASP para estudios cualitativos y organizaron los hallazgos en temas prácticos para diseño e implementación.
Convertir hallazgos en recomendaciones
Propusieron pautas como mostrar información de alto nivel, permitir detalle bajo demanda, usar gráficos simples, agrupar variables y expresar riesgos como porcentajes enteros.
Conclusión del enfoque
El método resuelve el problema escuchando al usuario clínico. No pregunta solo qué explicación produce el modelo, sino qué explicación puede usar una persona en un hospital real.
PRISMA-ScR
Guía usada para reportar la revisión de alcance de forma transparente.
CASP
Lista utilizada para valorar la calidad de los estudios cualitativos incluidos.
Codificación inductiva
Proceso para agrupar percepciones de profesionales en temas y recomendaciones de diseño.
El experimento
La búsqueda recuperó 1232 trabajos tras eliminar duplicados. Después del cribado, se incluyeron 16 estudios, publicados entre 2020 y 2024, con profesionales de hospitales en Norteamérica, Europa y China.
La mayoría de sistemas eran herramientas de machine learning para predecir riesgos clínicos. Varias estaban en fase de prototipo o preimplementación, aunque algunas ya estaban cerca de uso real o habían sido implementadas.
Las técnicas de explicación más frecuentes fueron la importancia de variables y métodos agnósticos como SHAP y LIME. Los estudios recogieron entrevistas, grupos focales, recorridos cognitivos, protocolos think-aloud y cuestionarios.
Qué se descubrió
Los profesionales percibieron estos sistemas como útiles para completar tareas, apoyar decisiones y coordinar equipos. También los usaban para confirmar una intuición clínica o reconsiderar un caso.
La aceptación dependía de factores muy concretos: integración con el flujo de trabajo, rendimiento del sistema, calidad de los datos, evidencia disponible y coherencia con el conocimiento clínico.
Las explicaciones no se interpretaban siempre como esperaban los desarrolladores. En varios estudios, los gráficos SHAP y ciertos valores técnicos resultaron difíciles, confusos o demasiado costosos de leer.
Los participantes preferían explicaciones breves, visuales y accionables: información de alto nivel, colores claros para riesgo, contexto del paciente, variables agrupadas y posibilidad de ampliar detalle cuando hiciera falta.
- Las explicaciones se usan sobre todo para validar si la salida del modelo tiene sentido.
- La formación y la experiencia con la herramienta influyen en la confianza.
- Demasiada explicación puede aumentar carga cognitiva y ralentizar decisiones.
- Los clínicos quieren conservar capacidad de juicio y posibilidad de ignorar la recomendación.
- El diseño debe adaptarse al rol, al momento y al contexto de uso.
La XAI falla cuando explica para el modelo; funciona mejor cuando explica para la decisión clínica.
Por qué importa
Este trabajo encaja muy bien con tus publicaciones sobre gobernanza del proceso de decisión. La explicación no debe ser un apéndice bonito, sino una pieza que ayuda a decidir, abstenerse, revisar o escalar.
También es relevante para sistemas de laboratorio clínico. Si una alerta se basa en IA, el profesional necesita entender qué datos la sostienen, qué puede hacer con ella y cuándo no debería seguirla.
La lectura práctica es directa: una IA explicable no es necesariamente una IA usable. Hay que diseñar explicaciones con usuarios reales, medir carga cognitiva y probarlas dentro del flujo clínico.
Aplicaciones reales
Interfaces clínicas
Diseñar explicaciones con información resumida primero y detalle bajo demanda para no saturar al usuario.
Alertas de laboratorio
Mostrar qué variables impulsan una alerta, qué datos faltan y qué acción clínica es razonable revisar.
AI-in-the-loop
Mantener la autonomía del profesional y registrar cuándo acepta, rechaza o corrige una recomendación.
Gobernanza
Evaluar explicaciones con usuarios finales antes del despliegue y monitorizar si aumentan confianza indebida.
Qué podemos aprender
Explicar una IA clínica no consiste en abrir la caja negra por completo. Consiste en dar al profesional la información mínima, clara y contextual para tomar una decisión mejor sin perder criterio propio.
Preguntas frecuentes
¿Este comentario es una publicación propia?
No. Es una explicación divulgativa de un trabajo de Bethany A. Van Dort, Thomas Engelsma, Pamela Sneekes, Linda Peute y Stephanie Medlock.
¿El artículo dice que SHAP o LIME no sirven?
No. Dice que pueden ayudar, pero que sus visualizaciones no siempre son fáciles de interpretar para profesionales en un entorno hospitalario.
¿Qué tipo de explicación prefieren los clínicos?
Explicaciones breves, visuales, con contexto del paciente, riesgo claro y detalle adicional solo cuando hace falta.
¿Por qué conecta con tus trabajos?
Porque refuerza que un sistema de decisión debe explicar lo justo para permitir supervisión, abstención, trazabilidad y responsabilidad clínica.
Trabajo comentado
Publicación original y recursos
Van Dort, B.A.; Engelsma, T.; Sneekes, P.; Peute, L.; Medlock, S. Explainable AI in hospital clinical decision support systems: A scoping review of healthcare professionals' perspectives. PLOS Digital Health 2026, 5(5), e0001417.