Cisco descubrió las razones por las que incluso los informes de IA sobre incidentes cibernéticos aparentemente perfectos no deben tomarse como la verdad

Cisco Talos investiga la precisión de los grandes modelos lingüísticos en la creación de informes cibernéticos

El equipo Cisco Talos Incident Response realizó una prueba para determinar cuán confiables son los LLM modernos (ChatGPT, Claude y Gemini) al generar informes técnicos sobre incidentes cibernéticos. Los resultados mostraron que incluso los documentos “más profesionales” contienen errores fácticos, contradicciones e incoherencias.

Cómo se llevó a cabo la investigación
* Preparación – los investigadores entregaron a cada modelo notas crudas del incidente con la solicitud de redactar un informe.

* Salida – los tres LLM produjeron documentos visualmente pulidos, pero al analizarlos detenidamente surgieron imprecisiones y conclusiones inesperadas.

Nate Pors, jefe senior de respuesta ante incidentes en Cisco Talos, describió detalladamente los resultados en el blog corporativo.

Por qué los LLM “se equivocan”
Cisco explica que los problemas surgen por la naturaleza probabilística de los modelos: predicen la siguiente palabra según pesos estadísticos, no comprenden el significado. Según Pors, las distorsiones se manifiestan en cuatro direcciones:

1. Fragmentos de datos diferentes
En cada solicitud, el modelo se basa en distintas partes de la entrada, lo que hace imposible obtener resultados reproducibles y estandarizados.

2. Conclusiones inconsistentes
Los mismos datos pueden llevar a recomendaciones distintas: un informe puede proponer cambiar obligatoriamente las contraseñas en toda la organización, mientras que otro solo sugiere cambios puntuales. El modelo suele aferrarse a la primera recomendación generada, incluso si no es adecuada.

3. Estructura no estándar
Dado que los LLM construyen el texto token por token, los documentos finales pueden tener estructuras y formatos variados, lo cual es crítico en entornos donde se requieren plantillas para controlar la calidad.

4. Problemas de ventana de contexto
Cuando el volumen de datos supera el límite de contexto, el modelo puede “olvidar” información importante del inicio de la sesión y producir resultados impredecibles o mezclados.

Qué significa esto para la ciberseguridad
Cisco reconoce que teóricamente se podría limitar la tarea a un fragmento concreto del informe, pero tal enfoque priva a los usuarios del ahorro de tiempo. En el ámbito de la protección cibernética, incluso un pequeño error puede resultar costoso. Por ello, los autores de los informes finales deben revisar minuciosamente cada palabra y no depender completamente de las recomendaciones de los LLM.

Conclusión: los grandes modelos lingüísticos pueden generar informes rápidamente, pero sus conclusiones requieren verificación obligatoria por especialistas para evitar errores e incoherencias en el contexto crítico de incidentes cibernéticos.