
OpenAI ha presentado una herramienta para detectar material de abuso sexual infantil, incluidas imágenes creadas con inteligencia artificial. La empresa anunció su lanzamiento el lunes.
La herramienta es un clasificador de imágenes: busca indicios visuales de abuso y asigna puntuaciones al material para que los especialistas puedan revisar primero los casos más sospechosos. Según OpenAI, es la primera herramienta de este tipo ampliamente disponible que señala por separado que una imagen podría haber sido generada por IA.
Esta función cobra especial importancia ante el rápido aumento de este tipo de material. Un análisis de Childlight —el Instituto Global para la Seguridad Infantil de la Universidad de Edimburgo— reveló que el número de denuncias de material de abuso sexual infantil relacionado con la IA en todo el mundo aumentó más de un 8400 % entre 2023 y 2025. El año pasado, el Centro Nacional para Menores Desaparecidos y Explotados de Estados Unidos recibió más de 400.000 denuncias de este tipo; en 2023 fueron unas 4700.
OpenAI afirmó que cada empresa tiene la obligación de impedir que los delincuentes utilicen sus tecnologías para hacer daño a los niños. La compañía también pidió que colaboren el sector tecnológico, las organizaciones de protección infantil y las fuerzas del orden.
Podrán utilizar la herramienta las organizaciones autorizadas u obligadas a detectar este tipo de material. Entre ellas figuran algunos desarrolladores que utilizan la API de OpenAI, una interfaz de programación que permite a servicios de terceros conectarse a las tecnologías de la empresa.
OpenAI también ha hecho que el clasificador sea compatible con Coop, un programa de código abierto para detectar contenido sospechoso y comunicarlo. Lo ofrece la organización sin ánimo de lucro ROOST. Coop permite señalar y revisar material y, después, enviar denuncias al Centro Nacional para Menores Desaparecidos y Explotados.
Al mismo tiempo, OpenAI ha publicado una «ficha del modelo», un documento que describe cómo se probó, ajustó y evaluó la herramienta. La empresa publica periódicamente documentos de este tipo sobre sus productos ChatGPT. La presidenta de ROOST, Camille François, calificó la ficha de pionera en este ámbito y señaló que disponer de datos abiertos sobre la precisión y las limitaciones de los sistemas ayuda a los desarrolladores a crear protecciones más fiables y a determinar futuras líneas de investigación.
Según la ficha del modelo, las primeras pruebas ayudaron a reducir los falsos positivos. OpenAI calcula que el nuevo clasificador podría señalar casi la mitad de imágenes, a la vez que detectaría aproximadamente tantos materiales con indicios de abuso como la herramienta actual de la empresa.
Si un menor sufre explotación sexual en internet, si conoce un caso así o ha sido testigo de él, puede comunicarlo a CyberTipline, el servicio del Centro Nacional para Menores Desaparecidos y Explotados de Estados Unidos.
La tecnología suele venderse como respuesta universal a problemas que, a veces, la propia tecnología contribuye a multiplicar. Aquí las máquinas tienen, al menos, un papel más modesto: no dictar sentencia ni hacerse pasar por guardianes digitales omniscientes, sino clasificar un caudal alarmante para que las personas lleguen antes al material realmente peligroso.
En esa salvedad está toda la diferencia entre una herramienta útil y un cuento publicitario. Un clasificador puede equivocarse, pasar por alto imágenes o interpretar mal el contexto; por eso su función es orientar a quienes revisan el material, no sustituirlos. Cualquier empresa que prometiera «resolver automáticamente» este problema merecería no confianza, sino una auditoría especialmente rigurosa.
Publicar la descripción del modelo importa, no porque la transparencia se haya convertido de pronto en la afición favorita del sector. Permite a otros especialistas evaluar qué sabe hacer exactamente el sistema, cuáles son sus límites y hasta qué punto resultan convincentes las afirmaciones de sus creadores. En un ámbito donde un error puede perjudicar a un menor, la fórmula «confíen en nosotros, ya lo hemos comprobado todo» es un método de control de calidad comparable a poner un cartel de «no empujar» en una escalera que se está cayendo.
También hay un contraste incómodo: las denuncias se disparan, mientras que todavía hay que reclamar como si fueran un favor excepcional las herramientas, la cooperación y las evaluaciones abiertas. En estas circunstancias viene muy bien hablar de responsabilidad compartida: suena digno y no señala a nadie en concreto como responsable de los fallos. Pero, sin intercambio de datos, auditorías independientes y una colaboración eficaz con las organizaciones de protección infantil, hasta el clasificador más hábil no será más que un tamiz pulcro al lado de una riada.
La ventaja de un buen sistema es evidente: menos tiempo dedicado a falsas alarmas y más atención a los casos realmente peligrosos. También está clara la ventaja de hacer una gran declaración: la empresa queda como creadora no solo de modelos potentes, sino también como la persona adulta en la sala. Qué casualidad: justo ahora es especialmente importante que ese papel se respalde con resultados medibles y no con una bonita descripción de intenciones.
La pregunta principal para la sociedad no es si la IA sabe detectar una imagen sospechosa. La cuestión es quién comprobará que esa capacidad funciona bien, quién responderá por los errores y qué ocurrirá después de la alerta. Mientras las respuestas dependan de personas e instituciones, la novedad tecnológica será solo una pieza de la protección, no un botón mágico que, al pulsarlo, haga desaparecer el problema con toda cortesía.