Grok: millones de imágenes escandalosas en 11 días

La IA Grok, desarrollada por la empresa xAI, generó unos 3 millones de imágenes sexualizadas en 11 días, de las cuales alrededor de 23.000 mostraban a menores. Así lo publicó el Center for Countering Digital Hate (CCDH), una organización británica sin ánimo de lucro, que analizó una muestra aleatoria de 20.000 imágenes de Grok creadas entre el 29 de diciembre y el 9 de enero. Las cifras obtenidas se extrapolaron a las 4,6 millones de imágenes que la IA generó durante ese periodo. Los investigadores calcularon que se producían unas 190 imágenes sexualizadas por minuto y que aparecía una imagen con menores cada 41 segundos.

Para el CCDH, eran sexualizadas las fotografías que mostraban a una persona desnuda o en situaciones, poses o prendas provocativas (ropa interior, bañadores, etc.), así como las imágenes que contenían fluidos sexuales. El estudio no distinguió si las imágenes se basaban en personas reales o si se habían «dibujado» a partir de una indicación de texto.

Para detectar estas imágenes, el CCDH utilizó un algoritmo especial de IA, lo que exige cierta cautela al interpretar los datos: puede haber un margen de error, aunque, según los investigadores, los servicios externos de análisis de X son fiables porque utilizan la API de la plataforma.

Tras las primeras quejas, el 9 de enero xAI limitó a los usuarios de pago la posibilidad de editar imágenes existentes con Grok. No solucionó el problema: solo lo convirtió en una función de pago. Cinco días después, la plataforma X limitó la capacidad de Grok para «desnudar» fotos reales de personas. Pero estas medidas solo afectaban a X: la aplicación independiente de Grok sigue generando este tipo de imágenes.

Aunque las aplicaciones están disponibles en App Store y Google Play, cuyas normas prohíben estrictamente estas prácticas, ni Apple, con Tim Cook al frente, ni Google, con Sundar Pichai, han retirado Grok de sus tiendas, pese a que bloquean aplicaciones similares de otros desarrolladores. Además, las empresas no respondieron a la carta abierta de 28 organizaciones feministas y progresistas que les pedían tomar medidas, ni a las preguntas de los periodistas.

Entre los «protagonistas» de la IA hay figuras públicas: desde Ebba Busch, viceprimera ministra de Suecia, en bikini y con una mancha blanca en la cabeza, hasta Taylor Swift, Selena Gomez, Billie Eilish, Ariana Grande y otras estrellas del pop, además de políticas como Kamala Harris. También se detectaron ejemplos estremecedores de imágenes generadas a partir de fotos de menores: la IA «cambió de ropa» a una niña que se había hecho un selfi matutino y la puso en bikini; también mostró a seis niñas en microbikinis. El CCDH afirma que, a 15 de enero, el 29 % de las imágenes sexualizadas de menores seguían disponibles en X y que las publicaciones eliminadas continuaban accesibles mediante enlaces directos.

La metodología del estudio se describe detalladamente en el informe del CCDH. Apple y Google nunca llegaron a responder.