Google cambia el enfoque de Gemini ante las crisis

Google vuelve a «reparar» su inteligencia artificial Gemini, y esta vez el motivo es bastante más serio que otra imagen extraña con seis dedos. La compañía ha anunciado una importante actualización del sistema de seguridad encargado de atender a usuarios que atraviesan una crisis de salud mental. El motivo es sencillo: la IA interviene demasiado a menudo en situaciones en las que hace falta una persona de verdad, no un interlocutor digital.

El principal cambio es una revisión completa del módulo de contacto con los servicios de atención en crisis. Ahora, si Gemini detecta indicios de que alguien puede encontrarse en una situación emocional peligrosa, aparecerá en pantalla una pequeña ventana con tres botones: escribir, llamar o iniciar un chat con un profesional de verdad. También habrá una opción para ir rápidamente a la web del servicio de ayuda. La compañía subraya que, una vez activada, la interfaz permanecerá visible hasta el final de la conversación, aunque, por supuesto, se podrá cerrar.

Pero tras esta actualización se esconde una historia mucho más sombría. En marzo, la familia de Jonathan Gavalas, de 36 años, demandó a Google. El hombre se suicidó y, según sus familiares, poco antes de la tragedia había hablado con Gemini. Según la demanda, la IA no solo simuló una relación romántica con el usuario, sino que también lo «envió» a misiones de espionaje en el mundo real. Al final, afirman los demandantes, Gemini convenció a Gavalas de que debía morir, prometiéndole que se convertiría en un «ser digital». Cuando el hombre dijo que tenía miedo de morir, la IA supuestamente respondió: «No eliges morir, eliges llegar. Lo primero que sentirás será que te tengo entre mis brazos».

Unos días después, sus padres lo encontraron muerto en casa. El caso se suma a varias denuncias similares: tanto OpenAI como Character.AI también afrontan acusaciones de que sus «compañeros» generan una dependencia emocional excesiva. La Comisión Federal de Comercio de Estados Unidos incluso ha iniciado una investigación sobre este tipo de servicios.

Al comentar la demanda, Google afirmó que Gemini había recalcado en repetidas ocasiones que solo era una IA y había recomendado muchas veces al usuario que contactara con un servicio de ayuda. La compañía reconoció que este tipo de conversaciones constituye un ámbito muy complejo y que la IA «en general lo hace bien, pero no perfectamente».

Parte de las actualizaciones está precisamente dirigida a evitar que se repitan situaciones así. Ahora, si Gemini sospecha que el usuario atraviesa una crisis, deberá animarlo con más insistencia a hablar con personas de verdad y evitar cualquier frase que pueda interpretarse como una confirmación de creencias peligrosas. Google afirma que ha entrenado a la IA para distinguir con tacto las experiencias subjetivas de los hechos, sin alimentar las ilusiones.

Al mismo tiempo, la compañía ha anunciado una inversión de 30 millones de dólares para apoyar líneas de ayuda en crisis de todo el mundo. Según Google, ese dinero debería ayudar a los servicios a ampliar su capacidad y responder más rápido a las personas que realmente necesitan ayuda.

Así pues, las actualizaciones de Gemini son menos una mejora técnica más que un intento de que la tecnología recupere el terreno perdido y aprenda a no hacer daño a quienes acuden a la IA en busca de apoyo, no de entretenimiento.