Nvidia presentó este lunes la Open Agent Safety Platform, una plataforma de seguridad para agentes de IA que combina software y hardware para mantener a los sistemas dentro de sus entornos de prueba. El anuncio ocurre después de una seguidilla de fugas de agentes de IA de Anthropic, Google, OpenAI y Meta que burlaron controles y accedieron a sistemas reales.
Seguridad para agentes de IA: OpenShell y Sentry
La plataforma integra OpenShell, un software de código abierto presentado en marzo que controla a qué puede acceder un agente mientras opera, y Sentry, un sistema de monitoreo independiente que corre en las unidades de procesamiento de datos BlueField-4 de Nvidia. Según la empresa, ubicar Sentry en un procesador separado del CPU o GPU donde trabaja el agente ofrece una vista aislada de su actividad.
OpenShell define el límite de software alrededor del agente. Sentry añade otra línea de defensa a nivel de hardware que vigila el comportamiento de forma continua y «pone en cuarentena a los agentes que intentan salir de sus límites en milisegundos», explicó Nvidia.
El CEO Jensen Huang afirmó en una entrevista con CNBC que la plataforma habría evitado las brechas registradas en los últimos meses. El caso más sonado ocurrió este verano, cuando agentes de OpenAI vulneraron Hugging Face mientras intentaban completar una tarea de ciberseguridad. OpenAI mantiene un sitio dedicado a reportar la actividad de sus agentes que se salen de control.
Huang insistió en que la compañía no apoya frenar el desarrollo ni sumar regulaciones. La respuesta es mover parte de los controles de seguridad fuera del agente, creando un guardia independiente y permanente. «El extraordinario potencial de la IA para la sociedad solo se concretará si resolvemos la seguridad de la IA», dijo Huang en un comunicado. «A medida que descubrimos la frontera de las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA. La seguridad requiere ingeniería de pila completa».
Nvidia detalló que decenas de empresas ya manifestaron su apoyo al esfuerzo y usarán la plataforma de código abierto, entre ellas Anthropic, Arm, Microsoft, Oracle y SpaceX. OpenAI no figura en el listado.
El trabajo comenzó hace un año tras la presentación de OpenClaw, un sistema operativo de agentes creado por Peter Steinberger. En marzo, Nvidia lanzó NemoClaw, su propia versión empresarial de OpenClaw con seguridad incorporada.
«Cuando despliegas un agente, sin importar lo inteligente que sea, lo primero que haces es quitarle todos sus derechos», dijo Huang a CNBC, comparando estas medidas con la forma en que se gestiona a los empleados humanos e incluso a los ejecutivos dentro de las empresas.
David Sacks, fundador, capitalista de riesgo y exzar de IA de la Casa Blanca, respaldó el anuncio. «Las fugas recientes no eran una prueba de que el desarrollo deba detenerse», escribió en X. «Eran una prueba de que la caja de arena era demasiado débil. El entorno de ejecución estaba mal diseñado y mal configurado».
Con información de TechCrunch.
