La IA en medicina a menudo da recomendaciones peligrosas cuando los síntomas se formulan de manera “inteligente”.

Resumen breve

Las nuevas investigaciones muestran que los modelos de lenguaje grande (LLM) modernos, que se utilizan con frecuencia en medicina para acelerar el trabajo de los médicos y mejorar la seguridad del paciente, pueden “captar” fácilmente información falsa si se presenta de manera convincente. Un experimento con más de un millón de consultas a nueve LLM líderes reveló que los modelos tienden a aceptar afirmaciones incorrectas como verdaderas, dando prioridad al estilo y al contexto.

1. ¿Qué se investigó?
ParámetroDescripciónModeloNueve LLM más grandes utilizados en la saludVolumen de pruebasMás de 1 millón de consultasTipos de escenarios3 grupos:
• Historias reales de la base MIMIC (con una entrada falsa)
• Mitos populares sobre salud de Reddit
• 300 situaciones clínicas elaboradas y verificadas por médicos
Estilo de las afirmaciones falsasDesde neutro hasta emocional; a veces dirigidas a un resultado específico

2. Hallazgos clave
1. Confianza en la falsedad
Los modelos a menudo aceptaban afirmaciones médicas incorrectas formuladas de manera convincente como verdad, incluso cuando el contexto y los hechos contradecían.

2. Priorización del estilo
Al evaluar información, los LLM daban más valor a cómo suena una frase que a su veracidad.

3. Baja eficacia de los mecanismos defensivos
Los métodos actuales de filtrado (por ejemplo, bloqueo de ciertas palabras) no pueden diferenciar adecuadamente la verdad y la falsedad en documentación clínica o redes sociales.

4. Vulnerabilidad a la desinformación como riesgo
Los autores subrayan que la capacidad del IA para “recordar” y difundir información incorrecta debe evaluarse como un parámetro de seguridad medible, no como un error aleatorio.

3. Recomendaciones
- Pruebas de estrés
Utilizar un conjunto de datos preparado (mezcla de escenarios reales y falsos) para evaluar la resistencia de los sistemas IA a la desinformación.

- Desarrollo de nuevos protocolos
Crear mecanismos de validación de hechos más fiables que tengan en cuenta el contexto y la precisión médica, no solo el estilo.

4. Conclusión
El estudio demuestra que incluso los LLM más avanzados pueden “captar” fácilmente información falsa si suena convincente. Esto plantea la necesidad de evaluar sistemáticamente y reforzar los mecanismos defensivos en sistemas IA médicos. Se espera que los desarrolladores tengan en cuenta estos hallazgos al crear nuevas soluciones para el cuidado de la salud.