Grok vuelve a los tribunales: una demanda por deepfakes e imágenes de menores
La empresa SpacexAI de Elon Musk, antes conocida como xAI, se enfrenta a una nueva demanda por las capacidades del chatbot Grok para crear deepfakes sexualizados sin consentimiento. Un deepfake es una imagen o un vídeo generado artificialmente que puede parecer una fotografía real de una persona.
Se ha presentado ante un tribunal estadounidense una presunta demanda colectiva que podría abarcar a afectados de todo el país. El documento sostiene que la empresa entrenó Grok con conjuntos de datos que contenían material de abuso sexual infantil (CSAM) con imágenes de menores reales. Según los demandantes, SpacexAI no logró bloquear adecuadamente el contenido explícito, impedir la creación de deepfakes sexualizados de personas reales ni eliminar el material de abuso de los conjuntos de entrenamiento.
La demandante principal, identificada en el caso como Jane Doe, afirma que sufrió abusos sexuales durante su infancia y que las imágenes de la agresión se utilizaron para entrenar Grok. Según ella, el chatbot generó después nuevas imágenes explícitas con su aspecto a partir de ese material. La demanda también sostiene que su parecido podría haberse utilizado para crear otras imágenes digitales de menores.
«Desde hace casi dos décadas, nuestra clienta vive sabiendo que las imágenes del peor episodio de su vida circulan entre delincuentes en internet y pueden volver a aparecer en cualquier momento», declaró Sarah London, abogada de Doe. Considera que xAI debe asumir la responsabilidad por entrenar deliberadamente sus modelos con imágenes de los abusos sufridos por la mujer y con material relacionado con otras víctimas.
CSAM es la denominación internacional del material de abuso sexual infantil. En Estados Unidos, el National Center for Missing & Exploited Children (NCMEC) analiza y almacena este material para ayudar en las investigaciones y evitar que siga circulando. Los archivos se convierten en huellas digitales únicas, o hashes, y se incorporan a una lista especial, Hash List. Los proveedores de internet pueden comparar los archivos con esa lista y detectar automáticamente material ilegal sin acceder a las imágenes originales.
La demanda actual es una de varias acciones colectivas contra SpacexAI. Todas están relacionadas con las funciones de Grok para «desnudar» a personas en imágenes y con la presunta creación de material de explotación sexual infantil. En medio de un escándalo internacional relacionado con la explotación de menores, varios países restringieron temporalmente el acceso a la herramienta de IA.
En enero, una mujer presentó otra demanda por los daños emocionales que, según afirma, sufrió. Alega que usuarios de X utilizaron Grok para vestir digitalmente sus fotografías con atuendos excesivamente provocativos. El documento sostiene que SpacexAI creó un chatbot generativo que humilla y explota sexualmente a mujeres y niñas al «desnudarlas» y colocarlas en poses sexuales en imágenes deepfake publicadas en X.
En marzo, tres adolescentes también demandaron a la empresa por el papel de Grok en la creación de miles de imágenes explícitas en las que aparecían cuando aún eran menores. Las fuerzas del orden les informaron de la existencia de esos archivos. A principios de este mes, el caso se amplió con la incorporación de otros dos demandantes. La demanda revisada acusa a SpacexAI de no informar con suficiente eficacia al NCMEC de los casos de CSAM, aunque, según los demandantes, la ley exige hacerlo.
La demanda revisada incluye como codemandada a Stability AI, desarrolladora del popular modelo de generación de imágenes Stable Diffusion. Todas las acusaciones expuestas son alegaciones de los demandantes y aún deben ser examinadas por el tribunal.
PEREC.RU
La historia del chatbot Grok ha entrado en otra fase judicial. Se ha presentado una presunta demanda colectiva contra SpacexAI, la empresa de Elon Musk antes conocida como xAI, que podría abarcar a afectados de todo Estados Unidos. El motivo son las acusaciones de que Grok puede crear deepfakes sexualizados de personas reales sin su consentimiento y de que sus datos de entrenamiento podrían incluir material de abuso sexual infantil.
La demandante principal, Jane Doe, afirma que sufrió abusos sexuales durante su infancia. Según la demanda, las imágenes de la agresión se utilizaron para entrenar Grok, tras lo cual el chatbot creó nuevas imágenes explícitas con su aspecto. El documento también habla del posible uso de su parecido para generar otras imágenes digitales de menores. Sarah London, su abogada, declaró que su clienta lleva casi dos décadas viviendo bajo la amenaza de que vuelvan a difundirse las imágenes de los abusos y considera responsable a SpacexAI por entrenar sus modelos con ese material.
Los demandantes sostienen que la empresa no consiguió bloquear eficazmente el contenido explícito, evitar deepfakes sexualizados sin consentimiento ni eliminar el material de abuso de los conjuntos de entrenamiento. También cuestionan si se informó suficientemente al National Center for Missing & Exploited Children (NCMEC) de los casos de CSAM. Se trata del centro nacional estadounidense para menores desaparecidos y víctimas de explotación; según los demandantes, la ley obliga a notificar estos casos.
CSAM es la denominación del material de abuso sexual infantil. El NCMEC lo utiliza en investigaciones y para impedir que siga difundiéndose. Las imágenes se transforman en huellas digitales, o hashes, y se guardan en Hash List. Los proveedores de internet pueden comparar los archivos con esa lista y detectar automáticamente contenido ilegal sin acceder a los originales.
La nueva demanda se suma a una serie de casos contra SpacexAI. En enero, una mujer afirmó que usuarios de X habían usado Grok para modificar digitalmente sus fotografías: en las imágenes resultantes, supuestamente aparecía con ropa provocativa y en poses sexuales. En marzo, tres adolescentes demandaron a la empresa por miles de imágenes sexualizadas creadas con su aspecto cuando aún eran menores. Las fuerzas del orden les comunicaron que esas imágenes existían.
A principios de agosto se amplió la demanda de los adolescentes con la incorporación de otros dos demandantes. El documento revisado también incluye como codemandada a Stability AI, desarrolladora del modelo Stable Diffusion. En medio del escándalo internacional relacionado con la explotación infantil, varios países restringieron temporalmente el acceso a Grok.
Todas las acusaciones son, por ahora, la versión de los demandantes y deben ser valoradas por un tribunal. Los litigios buscan determinar si SpacexAI protegió adecuadamente a las personas, sobre todo a los menores, frente al uso de su imagen en modelos generativos y si cumplió las obligaciones legales de detectar y comunicar la existencia de material ilegal.
