news.inema.pro / Todas las noticias
NVIDIA lanza una plataforma abierta para controlar agentes de IA
La plataforma permite supervisar, limitar y detener agentes de IA que excedan los permisos definidos.
NVIDIA anunció Open Agent Safety Platform, una plataforma de código abierto para seguir lo que hacen los agentes de inteligencia artificial. Permite establecer límites e interrumpir a los agentes que intenten actuar más allá de los permisos recibidos. Uno de sus componentes, OpenShell, aísla a cada agente y aplica reglas sobre archivos, redes, herramientas y otros recursos del sistema.
La propuesta consiste en que una capa separada supervise al agente. Sentry funciona en hardware BlueField-4 y puede vigilar las acciones, interrumpir al agente o ponerlo en cuarentena si supera sus límites. La plataforma también permite auditar acciones y decisiones, y verificar quién autorizó cada tarea. Esto ayuda a controlar el acceso, pero no garantiza que las decisiones de la IA sean correctas.
Para empezar, conviene observar qué permisos recibe cada agente y qué reglas se verifican antes y durante su ejecución. La plataforma también permite integrarse con Slack para aprobar o rechazar solicitudes de permisos adicionales. Incluso con estos controles, es importante revisar las decisiones del agente: limitar sus acciones no significa que siempre vaya a elegir correctamente.
El enlace abre el contenido original; algunos requieren suscripción.
Ir más allá en INEMA.CLUB
Más noticias
- 01/10JEV-GW: una IA especializada en ayudar a tomar decisionesLa presentación de JEV-GW incluye enlaces a la página del evento y a la guía del proyecto.
- 01/10Ejecución prolongada: protocolo para que agentes de IA trabajen durante horas o díasLa discusión presenta un protocolo de prompt `/goal` para tareas continuas de agentes de IA, en el contexto del cambio hacia agentes autónomos.
- 01/10Dot: el asistente de ChatGPT que permanece activo en la nubeEl análisis reúne hechos confirmados y problemas señalados en reseñas en video sobre el agente de OpenAI para suscriptores Pro y Business.
- 28/09agente-claude-codex 1.1.1 actualiza el registro y la revisión de tareasLa actualización conserva el historial, verifica solo lo que se ejecutó, comprueba lo compartido y mantiene la memoria al día.
- 23/097 principios para gestionar agentes de IAComparación entre material externo y la metodología INEMA de gestión de agentes de IA.