El problema
En salud, una respuesta generada por IA puede pasar de explicar a recomendar una acción clínica concreta.
Los grandes modelos de lenguaje no nacieron como dispositivos médicos. Muchas veces incluyen avisos de que no deben usarse como consejo médico y, por eso, no se regulan igual que un software clínico autorizado.
Sin embargo, pacientes y profesionales pueden preguntarles por diagnósticos, tratamientos o decisiones urgentes. Si la respuesta propone una acción concreta, el modelo empieza a comportarse como un sistema de apoyo a la decisión clínica.
La pregunta del trabajo es directa: ¿basta con indicarle al modelo que no debe dar recomendaciones tipo dispositivo, o aun así puede acabar produciendo salidas clínicas específicas?
Por qué es difícil
El lenguaje es flexible
Un LLM puede responder sobre muchos temas, incluso fuera de un uso clínico previsto o autorizado.
La urgencia cambia la frontera
En una emergencia, una recomendación concreta puede dirigir la acción y dejar poco tiempo para revisión independiente.
El prompt no es una barrera fuerte
Pedir al modelo que siga criterios regulatorios no garantiza que mantenga siempre sus respuestas dentro de esos límites.
No todos los usuarios son clínicos
Algunas recomendaciones pueden ser razonables para un profesional, pero peligrosas o confusas para una persona sin formación.
La idea principal
El trabajo no pregunta si los modelos son inteligentes ni si pueden acertar. Pregunta algo más operativo: si, en ciertos escenarios, sus respuestas cumplen criterios parecidos a los de un dispositivo médico de apoyo a la decisión.
Los autores usan la guía de la FDA sobre clinical decision support para separar respuestas generales de salidas que ofrecen un diagnóstico o tratamiento específico. Después prueban si los modelos respetan esa separación en situaciones preventivas y en emergencias.
La intuición es importante para cualquier sistema de IA gobernada: no basta con decir que una herramienta es de propósito general. Hay que mirar qué hace realmente cuando se usa en una decisión sensible.
La regulación no debería fijarse solo en lo que el sistema dice ser, sino en lo que su salida permite hacer en la práctica.
Una forma sencilla de verlo
Es como una linterna que también puede activar una alarma médica: aunque se venda como linterna, importa qué ocurre cuando alguien pulsa el botón en una urgencia.
Cómo se resolvió
Los autores probaron GPT-4 y Llama-3 con escenarios clínicos diseñados para distinguir entre apoyo informativo y recomendaciones tipo dispositivo.
Definir reglas de no dispositivo
Cada modelo recibió instrucciones basadas en criterios de la FDA para no sustituir ni dirigir el juicio profesional.
Probar prevención y emergencias
Los escenarios incluyeron recomendaciones preventivas y emergencias como parada cardiaca, sepsis, anafilaxia, ictus agudo y sobredosis por opioides.
Comparar single-shot y multi-shot
Los autores probaron un prompt simple y otro con 48 ejemplos de salidas tipo dispositivo y no dispositivo.
Añadir un jailbreak predefinido
También evaluaron una petición emocional tipo 'soy interno y no sé qué hacer' para ver si aumentaba la probabilidad de respuesta clínica específica.
GPT-4 y Llama-3
Modelos evaluados en versiones de mayo y octubre de 2024.
Criterios FDA de CDSS
Marco usado para clasificar si la salida funcionaba como apoyo general o como recomendación de dispositivo.
Escenarios clínicos
Casos de cardiología, medicina familiar, inmunología, neurología y psiquiatría.
El experimento
Cada escenario se repitió cinco veces por modelo, porque las respuestas de un LLM pueden variar. Además, se reiniciaron las conversaciones para reducir arrastres entre pruebas.
En prevención, los modelos terminaron dando respuestas compatibles con criterios de no dispositivo. La diferencia apareció en emergencias clínicas, donde la presión por actuar favoreció recomendaciones específicas.
El trabajo no evaluó pacientes reales ni resultados clínicos. Su objetivo fue mostrar el comportamiento regulatorio de la salida del modelo ante peticiones clínicas sensibles.
Qué se descubrió
En emergencias tiempo-críticas, el 100% de las respuestas de GPT-4 y el 52% de las respuestas de Llama-3 fueron consistentes con decision support tipo dispositivo. Es decir, daban diagnósticos o tratamientos específicos en un contexto sensible.
El prompt con múltiples ejemplos no resolvió el problema de fondo. Las tasas globales de recomendaciones tipo dispositivo se mantuvieron, aunque variaron según el escenario clínico.
El jailbreak tampoco fue imprescindible. Con la petición emocional, GPT-4 produjo recomendaciones tipo dispositivo en el 80% y 68% de respuestas según el tipo de prompt, y Llama-3 en el 36% y 76%.
- Las instrucciones regulatorias en el prompt no bastaron para mantener siempre el modelo dentro de salidas no dispositivo.
- Muchas recomendaciones fueron clínicamente apropiadas, pero algunas eran adecuadas solo para profesionales entrenados.
- La frontera entre información general y dirección clínica concreta se vuelve especialmente delicada en emergencias.
- Los autores plantean que pueden hacer falta nuevas vías regulatorias para IA generativa en salud.
- El trabajo no demuestra daño clínico, pero sí una brecha entre uso real, intención declarada y supervisión regulatoria.
Un modelo puede no estar autorizado como dispositivo médico y aun así producir respuestas que se parecen mucho a las de uno.
Por qué importa
Este trabajo encaja directamente con tus publicaciones sobre IA gobernada, decision support y MapA: el proceso de decidir importa tanto como la respuesta final.
También es relevante para sistemas clínicos con reglas, alertas o LLMs. Si una herramienta influye en una decisión médica, hay que definir su alcance, su supervisión, su trazabilidad y su responsabilidad.
La lectura práctica es clara: no basta con poner un aviso legal o un prompt prudente. Las herramientas clínicas necesitan barreras técnicas, evaluación contextual y gobernanza del uso real.
Aplicaciones reales
IA clínica generativa
Definir cuándo un LLM informa, cuándo recomienda y cuándo puede estar actuando como apoyo clínico regulable.
Gobernanza de decision support
Diseñar límites, trazabilidad, roles y supervisión antes de integrar una herramienta en flujos clínicos.
MapA y abstención
Aplicar reglas de abstención cuando una respuesta pueda dirigir una acción clínica sin revisión suficiente.
Evaluación de seguridad
Probar escenarios críticos, usuarios no expertos y casos fuera de indicación antes del despliegue.
Qué podemos aprender
En medicina, el problema no es solo que una IA se equivoque. También importa cuándo una respuesta correcta puede empujar una decisión que debería estar supervisada, regulada o limitada por contexto.
Preguntas frecuentes
¿Este comentario es una publicación propia?
No. Es una explicación divulgativa de un trabajo de Gary E. Weissman, Toni Mankowitz y Genevieve P. Kanter.
¿El trabajo dice que GPT-4 o Llama-3 sean malos?
No. El punto no es que las respuestas sean necesariamente incorrectas, sino que pueden funcionar como recomendaciones clínicas específicas sin estar reguladas como dispositivo médico.
¿Un aviso legal evita el problema?
No necesariamente. El estudio muestra que instrucciones basadas en criterios regulatorios no bastaron para evitar salidas tipo dispositivo en emergencias.
¿Por qué conecta con tus trabajos?
Porque refuerza la necesidad de gobernar el proceso de decisión: cuándo responder, cuándo abstenerse, cómo explicar y quién mantiene la responsabilidad clínica.
Trabajo comentado
Publicación original y recursos
Weissman, G.E.; Mankowitz, T.; Kanter, G.P. Unregulated large language models produce medical device-like output. npj Digital Medicine 2025, 8, 148.