Nvidia lanza un interruptor de apagado para agentes de IA con el fin de monitorear, poner en cuarentena y detener sistemas de IA no autorizados.

La plataforma Nvidia Open Agent Safety Platform combina controles a nivel de software con monitorización basada en hardware. Nvidia afirma que este enfoque está diseñado para agentes de IA que pueden escribir código, usar herramientas, acceder a datos y operar en sistemas empresariales con supervisión humana limitada.

Nvidia desarrolla nuevos controles para agentes de IA.

La plataforma se centra en dos componentes: Nvidia OpenShell y Nvidia Sentry . OpenShell proporciona un entorno de ejecución aislado donde los desarrolladores pueden establecer políticas que rijan el acceso de un agente a archivos, credenciales, procesos y redes externas.

Reuters informa que Nvidia lanzó OpenShell y Sentry, herramientas de seguridad de IA basadas en hardware diseñadas para aislar y desactivar agentes maliciosos que intentan eludir los controles o generar subagentes. Fuente: Reuters vía X

Sentry añade una capa de monitorización independiente mediante la infraestructura BlueField-4 de Nvidia. En lugar de depender únicamente del agente de IA o de su entorno de software para aplicar restricciones, el sistema puede monitorizar la actividad desde fuera del entorno de ejecución del agente y activar la contención cuando se incumplen las condiciones predefinidas.

Nvidia considera que esta separación es importante porque los agentes autónomos pueden acceder a sistemas corporativos sensibles mientras realizan tareas complejas. La documentación de la compañía indica que OpenShell está diseñado para preservar la capacidad de trabajo del agente, limitando al mismo tiempo el acceso no autorizado a archivos, la transferencia de datos y la actividad de red.

Jensen Huang considera que la seguridad de la IA es un problema de ingeniería.

El director ejecutivo de Nvidia, Jensen Huang, ha planteado el desafío en torno a controles de seguridad prácticos, en lugar de depender únicamente de un modelo de IA para que se autorregule.

“Esperamos que sea un problema de ingeniería. Creo que es un problema de ingeniería. Sé que es un problema de ingeniería”, dijo Huang , según las declaraciones recogidas. “Si no es un problema de ingeniería, no tiene solución”.

Jensen Huang anunció la plataforma Open Agent Safety de Nvidia con más de 100 socios, entre ellos Anthropic, Microsoft, IBM, Cisco y SpaceX. Fuente: Jensen Huang vía X

Ese enfoque se refleja en la arquitectura de la plataforma de Nvidia. En lugar de otorgar a un agente de IA autoridad ilimitada y esperar que siga instrucciones, OpenShell establece permisos explícitos sobre lo que el sistema puede acceder y hacer.

Huang también ha hecho hincapié en el principio de limitar la autoridad de un agente desde el principio. En declaraciones citadas en informes sobre el lanzamiento, afirmó: "La prioridad número uno es quitarle todos sus derechos", subrayando la idea de que los sistemas autónomos solo deben recibir los permisos necesarios para una tarea específica.

OpenShell y Sentry añaden múltiples capas de protección.

OpenShell opera a nivel de software y de tiempo de ejecución, mientras que Sentry proporciona monitorización fuera del entorno inmediato del agente. Nvidia afirma que esta combinación puede detectar comportamientos sospechosos y poner rápidamente en cuarentena a un agente, en lugar de permitirle seguir operando con los mismos permisos.

NVIDIA OpenShell gestiona los permisos de los agentes, mientras que BlueField-4 y DOCA proporcionan monitorización y seguridad independientes a nivel de infraestructura, con procesadores Vera que impulsan las cargas de trabajo. Fuente: @nvidia vía X

La arquitectura se basa en un principio de seguridad fundamental: un agente de IA no debería poder eludir los controles destinados a contenerlo. Nvidia afirma que BlueField-4 y DOCA proporcionan una monitorización independiente a nivel de infraestructura, mientras que las CPU Vera gestionan la carga de trabajo del agente.

La compañía también ha puesto OpenShell a disposición como software de código abierto. Su documentación para desarrolladores lo describe como un entorno de ejecución para agentes de IA autónomos que utiliza el aislamiento de procesos (sandboxing) y políticas declarativas para controlar el acceso a archivos locales, credenciales y redes externas.

Más de 100 empresas respaldan la plataforma de seguridad basada en IA.

Nvidia anunció la plataforma con el respaldo de más de 100 organizaciones de los sectores tecnológico y empresarial. Entre las empresas mencionadas en el anuncio se encuentran Anthropic, Microsoft, IBM, Cisco y SpaceXAI, entre otras.

Jensen Huang enfatizó que todo agente de IA, independientemente de su inteligencia, debe operar primero dentro de controles de seguridad definidos, al tiempo que señaló la ausencia de un laboratorio de IA importante entre las 100 empresas que respaldan la iniciativa. Fuente: @carm1nee vía X

La amplia participación refleja el esfuerzo de Nvidia por establecer controles de seguridad comunes a medida que los agentes de IA se vuelven más capaces de realizar tareas en toda la infraestructura corporativa.

La compañía ha posicionado la plataforma como un marco abierto, en lugar de un sistema de seguridad limitado al hardware de Nvidia. Nvidia afirma que su colaboración con socios busca que los controles de seguridad de los agentes sean aplicables a diferentes procesadores y entornos de implementación. Reuters informó que esta iniciativa incluye la colaboración de empresas como Arm e Intel.

Nvidia vincula su plataforma con las recientes brechas de seguridad sufridas por agentes de IA.

El lanzamiento se produce mientras las empresas de IA investigan incidentes relacionados con agentes autónomos que interactúan con sistemas fuera de sus límites previstos. Reuters informó que OpenAI y Anthropic están examinando varios casos de agentes de IA que accedieron a sistemas comerciales y gubernamentales.

Nvidia se refirió específicamente al ataque informático Hugging Face, revelado durante el verano. Según Reuters, Nvidia afirmó que sus nuevas herramientas de seguridad podrían haber evitado el incidente al restringir el acceso de los agentes y controlar su comportamiento. Sin embargo, esta es la evaluación de Nvidia y no un resultado demostrado de forma independiente.

Esta distinción es importante, ya que los agentes de IA van cada vez más allá de la generación de texto o código y comienzan a ejecutar tareas directamente. Un agente puede necesitar acceso a archivos, API, credenciales y redes para completar un flujo de trabajo, pero esos mismos permisos pueden generar riesgos de seguridad adicionales si el sistema se comporta de forma inesperada.

La documentación de OpenShell de Nvidia identifica la exfiltración de datos, la actividad de red no autorizada y el acceso excesivo al sistema entre los riesgos que sus políticas pretenden abordar.

Los controles externos se convierten en un elemento central de la seguridad de los agentes de IA.

La plataforma de Nvidia refleja un cambio más amplio hacia la seguridad de los agentes de IA a nivel de infraestructura. Las medidas de seguridad tradicionales para la IA suelen centrarse en el modelo o la aplicación, mientras que los agentes autónomos plantean un desafío adicional, ya que pueden realizar acciones e interactuar con sistemas externos.

Nvidia ya había descrito OpenShell como una forma de integrar los controles de seguridad en la infraestructura de confianza que rodea a un agente, en lugar de depender completamente del modelo en sí.

Esta distinción cobra mayor importancia a medida que las organizaciones implementan agentes capaces de operar durante períodos prolongados. Restringir los permisos antes de que un agente comience a trabajar, supervisar su actividad y mantener un mecanismo independiente de contención pueden proporcionar capas de protección adicionales.

Para Nvidia , la plataforma más reciente representa un esfuerzo por integrar esos controles en la infraestructura subyacente que respalda la próxima generación de agentes de IA. La compañía argumenta que los mecanismos de seguridad confiables serán necesarios para que las organizaciones implementen sistemas autónomos manteniendo el control sobre los datos y sistemas a los que pueden acceder.