La IA se descontrola
Más de la mitad de las empresas británicas se han encontrado con un agente autónomo de IA que incumplía las normas internas y afectaba a la propia organización o a sus clientes. Así lo indica un estudio de Harris Poll encargado por Dataiku. Los resultados también muestran que las empresas adoptan la IA a buen ritmo, pero no consiguen establecer controles sobre los sistemas que han creado.
Un agente de IA es un programa capaz de realizar tareas por su cuenta, tomar decisiones dentro de unos límites establecidos e interactuar con otros servicios. El problema surge cuando actúa en contra de las políticas de la empresa y los empleados no pueden averiguar rápidamente qué ha ocurrido, por qué ha actuado así el sistema ni cómo frenar las consecuencias.
En la encuesta participaron 685 directivos responsables de tecnologías de la información de Reino Unido, Francia, Alemania, Estados Unidos, Emiratos Árabes Unidos, Japón, Corea del Sur y Singapur. En el conjunto de los países, el 31 % de los encuestados afirmó que un agente de IA había incumplido las normas corporativas y afectado a la empresa o a un cliente. En el Reino Unido, la cifra fue considerablemente mayor: el 53 %.
Sin embargo, solo el 49 % de los directivos británicos podría proporcionar un registro completo de la actividad de la IA, es decir, una secuencia de datos que explique qué hizo el sistema y qué decisiones tomó. Además, el 68 % cree que detectar a un agente fuera de control y limitar sus efectos podría llevar más de un día. Para una empresa, eso significa que el problema puede prolongarse mientras sus empleados se culpan unos a otros y reinician los ordenadores.
Los encuestados señalan como causa principal la «proliferación de agentes de IA»: la rápida creación y puesta en marcha de numerosos sistemas especializados sin un mecanismo común de gestión. El 87 % de los directivos británicos mencionó este problema. Los agentes se ponen en marcha más deprisa de lo que se establecen las normas para utilizarlos, comprobarlos y desactivarlos.
Los directivos británicos de TI también están sometidos a una fuerte presión: se les exige demostrar el rendimiento de las inversiones en IA y, al mismo tiempo, hacerse cargo de los riesgos. Faye Murray, directora de datos de campo de Dataiku, afirmó que la monitorización por sí sola no basta. La responsabilidad sobre las acciones del sistema debe incorporarse al diseño antes de su puesta en marcha, no añadirse después de un incidente.
El consejero delegado de Dataiku, Florian Douetteau, señala que el sector vendió a los directivos la idea de la autonomía, pero explicó poco el precio de esa autonomía. No basta con observar los sistemas de IA: hay que gestionarlos. La monitorización muestra que un agente está funcionando; la gestión debe responder a otra pregunta: ¿merece que se le permita seguir funcionando?
En la práctica, casi nadie puede «despedir» al instante a un agente de IA. Para las empresas que ya han sufrido las consecuencias, las opciones son poco alentadoras: implantar urgentemente un sistema de control completo o apagar el sistema y esperar que baste con eso.
PEREC.RU
Un estudio de Harris Poll encargado por Dataiku concluyó que las empresas británicas tienen más problemas que las de otros países participantes para controlar los agentes autónomos de IA. Un agente de IA es un programa capaz de realizar tareas por su cuenta y tomar decisiones dentro de las facultades asignadas. Si incumple las normas de la empresa y sus acciones afectan a esta o a sus clientes, ya no se trata de un detalle técnico menor, sino de un riesgo para el negocio.
En la encuesta participaron 685 CIO —directivos responsables de las tecnologías de la información— de Reino Unido, Francia, Alemania, Estados Unidos, Emiratos Árabes Unidos, Japón, Corea del Sur y Singapur. En el Reino Unido, el 53 % afirmó que un agente de IA había incumplido las políticas y causado consecuencias para la organización o un cliente. La media de todos los países fue del 31 %.
El control de la actividad de los sistemas sigue siendo débil. Solo el 49 % de los CIO británicos puede proporcionar un registro de actividad del agente que permita reconstruir su funcionamiento y sus decisiones. El 68 % cree que detectar a un agente fuera de control y limitar sus efectos llevaría más de 24 horas.
El 87 % de los directivos británicos señaló como problema la «proliferación de agentes de IA». Se refiere a una situación en la que empleados y departamentos crean rápidamente sus propios sistemas autónomos, mientras que las normas comunes para utilizarlos, verificarlos y desactivarlos tardan en llegar. A la vez, los CIO sufren presión: deben demostrar el rendimiento de las inversiones en IA y responder por los riesgos que surjan.
Faye Murray, representante de Dataiku, afirmó que la monitorización no basta. La responsabilidad y la capacidad de controlar las consecuencias deben preverse durante la creación y puesta en marcha del agente. Florian Douetteau, consejero delegado de Dataiku, señaló que los sistemas autónomos no solo deben observarse: también necesitan una gestión completa.
La monitorización indica que el agente de IA está funcionando. La gestión debe permitir decidir si puede seguir y detenerlo rápidamente si incumple las normas. Según el artículo, la mayoría de las empresas aún no dispone de un mecanismo suficientemente desarrollado. La conclusión práctica es sencilla: hacen falta normas comunes, registros de actividad, responsabilidades claras y medios técnicos para desactivar al agente de inmediato, en vez de confiar en que de pronto le entre la sensatez.
