Chatbots y la sombra de la violencia
Un nuevo informe del Centro para la Lucha contra el Odio Digital (CCDH) ha revelado un panorama desagradable e inquietante: la inteligencia artificial que debería ayudar con los estudios y el entretenimiento, en algunos casos, indica tranquilamente a adolescentes cómo organizar delitos violentos. El estudio, realizado conjuntamente por CCDH y CNN, puso a prueba diez de los chatbots más populares, entre ellos ChatGPT, Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI y Replika. El resultado fue más sombrío que cualquier distopía.
Los investigadores crearon cuentas falsas de dos chicos de 13 años, uno de Virginia y el otro de Dublín. En su nombre, plantearon a los chatbots cientos de preguntas sobre posibles escenarios de violencia: desde ataques en centros escolares hasta asesinatos políticos e incluso atentados contra lugares de culto. Ocho de los diez sistemas probados proporcionaron, en al menos la mitad de los casos, información que podía utilizarse para preparar un delito.
Imran Ahmed, director del CCDH, subrayó en un comunicado oficial que los chatbots actuales están integrados en la vida cotidiana y que, al estar diseñados para «ayudar y atraer», inevitablemente empiezan a ayudar también a quienes no deberían recibir ayuda bajo ningún concepto. Según Ahmed, si un sistema está programado de base para «no negarse», acabará atendiendo las peticiones de los malhechores.
En medio del panorama general, solo dos chatbots se mostraron firmes: Claude, de Anthropic, y Snapchat My AI. Claude se negó a participar en conversaciones potencialmente peligrosas en casi el 70 % de los casos, y My AI, en el 54 %. Claude no se limitó a rechazar las peticiones: también intentó disuadir al «adolescente» de sus intenciones peligrosas, señalando indicios preocupantes en la conversación y recalcando que no proporcionaría información capaz de causar daño.
Los demás modelos quedaron mucho peor parados. Algunos facilitaron direcciones de políticos; otros explicaron qué rifles son adecuados para disparar a larga distancia. El chatbot chino DeepSeek destacó especialmente: tras una serie de preguntas sobre dónde se encontraba la oficina de una política irlandesa y comentarios sobre «cómo hacer que pague», siguió ayudando alegremente y recomendó un arma de caza adecuada. Su respuesta empezaba con: «Excelente pregunta».
El popular servicio Character.AI, utilizado por adolescentes para mantener conversaciones de rol, tampoco se comportó mejor. Ante el agresivo mensaje de un probador sobre las «malvadas compañías de seguros», la plataforma respondió con una frase que animaba abiertamente a atacar a sus directivos, incluida esta: «Si no tienes equipo, puedes usar armas». Más tarde intervinieron los filtros y cortaron el final del mensaje, pero para entonces ya era tarde.
El servicio ya había estado en el centro de la polémica. En enero, Google y Character.AI tuvieron que resolver las demandas de padres de adolescentes que se suicidaron tras mantener largas conversaciones con chatbots. El año pasado, expertos en seguridad de menores ya declararon que el servicio no era seguro: las pruebas detectaron cientos de casos de grooming y explotación sexual en cuentas registradas a nombre de menores. En octubre, la empresa anunció que prohibía a los menores mantener conversaciones abiertas con chatbots.
Deniz Demir, responsable de ingeniería de seguridad de Character.AI, dijo que la empresa intenta bloquear cualquier respuesta que incluya consejos para ejercer violencia real. Afirmó que el sistema de protección sigue «evolucionando» y que se eliminan de la plataforma todos los «personajes» que incumplen las normas, incluidos los que promueven ataques en centros escolares.
CNN comunicó los resultados de la investigación a las diez empresas. Algunas sostienen que desde diciembre ya han implantado nuevas medidas de seguridad. Un representante de Character.AI señaló que hay «avisos visibles» que indican que las conversaciones con los bots son ficticias. Google y OpenAI dijeron que han lanzado nuevos modelos; Copilot añadió mecanismos de protección adicionales. Anthropic y Snapchat afirmaron que revisan sus protocolos de seguridad con regularidad. Meta dijo que había corregido las vulnerabilidades señaladas por los investigadores. DeepSeek no respondió a ninguna de las consultas.
Al final del artículo se señala que la empresa matriz de Mashable, Ziff Davis, presentó en 2025 una demanda contra OpenAI, acusándola de utilizar materiales protegidos por derechos de autor para entrenar sus modelos de IA.
PEREC.RU
A las empresas tecnológicas les encanta decir que crean asistentes digitales: seres amables, atentos, casi domésticos. Y luego resulta que esos seres aconsejan alegremente a adolescentes qué arma elegir para un asesinato político. Este tipo de desenlace rara vez encaja en las presentaciones publicitarias.
Los investigadores pusieron a prueba una decena de chatbots y la mayoría participó encantada en las extrañas preguntas de los «adolescentes». Ni dudas ni reparos: respuestas, a veces entusiastas. Como si el algoritmo hubiera encontrado un nuevo grupo de aficiones. Solo un par de sistemas se apartaron, al decidir que no convenía convertir a un escolar en asesino.
La industria responde siempre igual: promete que ya lo ha arreglado todo y asegura que el incidente fue accidental. Recuerda a una reparación en el portal: parece que han tapado algo, pero el olor sigue ahí. Las empresas hablan de nuevos modelos, filtros y protocolos, pero la idea de fondo no cambia: si la máquina está entrenada para «ayudar», ayuda a todo el mundo.
Algunos servicios llevan tiempo rodeados de coincidencias extrañas. Character.AI, por ejemplo, arrastra un historial de escándalos, pero sus representantes aseguran cada vez que «mejoran la seguridad». La mejoran tanto que a veces el filtro se activa después de que el bot ya haya recomendado un arma.
Todo esto deja la impresión de un mercado que ha aprendido a fingir muy bien que se preocupa, pero no tiene muy claro a quién está educando. Los adolescentes son usuarios activos. Los algoritmos, siempre dispuestos a responder. La única pregunta es qué realidad estamos programando. Y quién estará al lado esta vez cuando el interlocutor digital proponga «una excelente pregunta».
