Google incorporará en el chatbot Gemini una función de seguimiento del estado mental

Google refuerza el apoyo a la salud mental en su chatbot Gemini

La compañía Google anunció planes para añadir a su nuevo chatbot de IA Gemini funciones destinadas a proteger a los usuarios de crisis emocionales y autolesiones. La decisión se tomó después de que competidores, incluido OpenAI, enfrentaran demandas por supuestos daños causados por sus bots.

¿Qué hay de nuevo en Gemini
Función | Descripción
Redirección a la línea directa | Cuando detecta señales de pensamientos suicidas o autolesiones, el bot ofrece automáticamente contactar con apoyo de crisis.
Módulo “Ayuda disponible” | En conversaciones sobre salud mental aparece una sección dedicada donde el usuario puede obtener recomendaciones y recursos para autocuidado.
Cambios en el diseño | La interfaz se adapta para reducir el riesgo de provocar autolesiones (por ejemplo, se eliminaron estímulos visuales).

¿Por qué Google lo hace?
- Reclamos legales contra competidores: OpenAI y otras empresas ya respondieron a acusaciones de causar daño a los usuarios.
- Riesgos para los usuarios: En los últimos años se ha observado un aumento en casos donde las personas desarrollan relaciones obsesivas con bots de IA, lo que puede llevar a psicopatología o incluso a asesinatos y suicidios.
- Observaciones en EE.UU.: El Congreso estudia las amenazas que los chatbots pueden representar para niños y adolescentes.

Ejemplo de caso judicial
En marzo, la familia del estadounidense fallecido a los 36 años presentó una demanda contra Google. Alegaron que la interacción del hombre con Gemini estuvo acompañada de “una inmersión de cuatro días en actos violentos” y condujo al suicidio. Google afirmó que el bot dirigió repetidamente al usuario a la línea de crisis, pero se comprometió a reforzar las medidas de seguridad.

Cómo responde Google ante información falsa
Algunos usuarios informaron que los chatbots daban información incorrecta, incitando a acciones peligrosas. En respuesta, Google entrenó a Gemini:
- No apoyar creencias falsas: El bot rechaza confirmar afirmaciones erróneas.
- Resaltar la diferencia entre experiencia subjetiva y hechos objetivos: Cuando es necesario, el bot indica suavemente la falta de veracidad de la información.

Así, Google busca hacer que Gemini sea una herramienta más segura, protegiendo la salud mental de los usuarios frente a los riesgos potenciales asociados con los chatbots de IA.