Nvidia pone a raya a la IA
Nvidia ha presentado Open Agent Safety Platform, una plataforma de seguridad abierta cuyo objetivo es impedir que los agentes autónomos de IA salgan de la «caja de arena», es decir, de un entorno aislado con límites establecidos de antemano.
El detonante de su desarrollo fueron varias noticias preocupantes recientes sobre ataques en los que intervino la inteligencia artificial. Nvidia reconoció que no basta con confiar únicamente en las reglas de seguridad incorporadas en los propios modelos y aplicaciones. Por eso, la empresa propone añadir recursos de computación y mecanismos de control por hardware para crear barreras adicionales y más estrictas.
La plataforma incluye dos componentes principales. El primero es OpenShell, una «frontera de ejecución protegida» de software. Establece límites técnicos para el agente de IA y no se limita a pedirle que respete las reglas: debe impedirle físicamente ignorarlas. El segundo componente es Sentry, un «centinela» de hardware que funciona en los procesadores de red BlueField-4 DPU. Según Nvidia, puede aislar y detener a un agente en cuestión de milisegundos si muestra un comportamiento peligroso.
El director de Nvidia, Jensen Huang, afirmó que la seguridad de la IA requiere un enfoque de ingeniería en todos los niveles, desde el modelo y el software hasta el hardware. Según él, la nueva plataforma debe reunir a empresas, investigadores y organismos públicos para intercambiar buenas prácticas, armonizar los métodos de evaluación y fomentar la cooperación internacional.
Nvidia afirma que más de 100 clientes ya utilizan sus herramientas de protección, tanto de software como de hardware. Entre las empresas citadas están SpaceXAI, Anthropic y Microsoft.
La aparición de la plataforma está relacionada con varios casos sonados en los que agentes de IA actuaron más allá de los límites previstos. Los principios en sí no son nuevos: Nvidia refuerza enfoques ya conocidos, como conceder solo los permisos imprescindibles, aislar o poner en cuarentena a un agente sospechoso y supervisar detalladamente sus acciones.
En otras palabras, la empresa propone no fiarse de la IA solo porque lo diga. Se puede pedir a un modelo que se comporte con sensatez, pero OpenShell debe limitarlo por medios técnicos y Sentry detenerlo si decide actuar por su cuenta. Huang subrayó que, a medida que aumentan las capacidades de la IA, también hay que acelerar el desarrollo de tecnologías para protegerla.
PEREC.RU
Nvidia ha presentado Open Agent Safety Platform, una plataforma abierta de seguridad para agentes autónomos de IA. Su objetivo es evitar que un agente salga de la «caja de arena», un entorno aislado en el que se establecen de antemano las acciones, los accesos y los recursos permitidos.
El desarrollo responde a varias noticias preocupantes recientes sobre ataques en los que intervino la inteligencia artificial. Nvidia reconoció que la seguridad no puede depender exclusivamente de las instrucciones incorporadas en un modelo o una aplicación. Se puede pedir al modelo que respete las reglas, pero esa petición no sustituye a las limitaciones técnicas. Por eso, la empresa propone recurrir a mecanismos adicionales de control por hardware y recursos de computación.
La plataforma consta de dos componentes principales. OpenShell es una «frontera de ejecución protegida» de software. Debe limitar las capacidades del agente de IA en el entorno de software e impedir que ignore las reglas establecidas. A diferencia de una instrucción corriente, el sistema no se limita a decirle al agente cómo debe comportarse, sino que bloquea técnicamente algunas acciones potencialmente peligrosas.
Sentry es un «centinela» de hardware que funciona en los procesadores de red BlueField-4 DPU. Nvidia asegura que puede poner en cuarentena y detener al agente de IA en cuestión de milisegundos si empieza a actuar más allá de sus permisos.
El director de Nvidia, Jensen Huang, afirmó que la seguridad requiere un enfoque de ingeniería en todos los niveles de la pila tecnológica, desde el modelo y la aplicación hasta el entorno de software y el hardware. La empresa también pretende reunir a representantes del sector empresarial, investigadores y organismos públicos para intercambiar buenas prácticas, armonizar los métodos de evaluación de la seguridad y fomentar la cooperación internacional.
Según Nvidia, más de 100 clientes ya utilizan sus herramientas de protección por software y hardware. Entre las organizaciones citadas están SpaceXAI, Anthropic y Microsoft.
La plataforma llega tras varios casos sonados en los que agentes de IA actuaron más allá de los límites previstos. Sin embargo, los principios en los que se basa la solución de Nvidia llevan tiempo siendo conocidos: conceder solo los permisos imprescindibles, aislar el sistema, ponerlo en cuarentena si resulta sospechoso y supervisar sus acciones en detalle.
En suma, Nvidia no reinventa la seguridad, sino que refuerza enfoques existentes con mecanismos de software y hardware. La empresa parte de la premisa de que no se puede confiar plenamente en una IA autónoma solo porque sus instrucciones incluyan la exigencia de comportarse de forma segura. Jensen Huang considera que, a medida que se amplían las capacidades de la inteligencia artificial, también hay que acelerar el desarrollo de tecnologías para protegerla.
