news.inema.pro

news.inema.pro / Todas las noticias

proyecto Publicada el

Agente Blindado: 5 barreras contra órdenes ocultas

Proyecto con cinco barreras para proteger a un agente de IA contra órdenes ocultas.

Agente Blindado es un kit gratuito para quienes usan agentes de inteligencia artificial con acceso a archivos, correo electrónico o sistemas. Reúne cinco barreras contra la inyección de prompts: instrucciones ocultas en textos externos, como correos, páginas web y PDF, que intentan hacer que el agente actúe. El kit también incluye un instalador y diez ataques inofensivos para probar el agente.

Las barreras ayudan a limitar lo que el agente puede hacer, pedir aprobación antes de acciones delicadas y separar la planificación de la ejecución. El proyecto informa que, en las pruebas descritas, Sonnet y Haiku detectaron los diez ataques incluso sin las barreras. Estas ofrecen protección adicional en situaciones en las que un ataque sea más convincente, el modelo sea más pequeño o abierto, o el agente tenga acceso a recursos importantes.

Para empezar, el kit requiere Python 3.10 o una versión posterior; algunas barreras y la prueba con un modelo real también requieren Claude Code. La guía recomienda descargar el repositorio, revisar las barreras y comenzar con el instalador, eligiendo un perfil de permisos. Conviene tener en cuenta que las pruebas no garantizan la seguridad: una barrera no puede determinar si una afirmación del texto es verdadera, así que las personas deben leer y aprobar las acciones que impliquen dinero o que no se puedan deshacer.

Leer en la fuente →

El enlace abre el contenido original; algunos requieren suscripción.

Ir más allá en INEMA.CLUB

Más noticias

  1. 15/11
    Robôs impressos: elige y monta un dino, un carpincho o un cuboProyecto para elegir y montar un robot impreso en 3D: dino, carpincho, cubo o cubo con ruedas.
  2. 15/11
    Painel Jarvis muestra el estado real de la máquina cuando preguntas qué fallóEl panel-jarvis responde al asistente “¿qué falló hoy?” mostrando el estado real de la máquina.
  3. 14/11
    Robôs impressos: imprime tu robot de compañía en 3DProyecto con tres cuerpos de robot para impresión 3D y espacios definidos para motores y placas; esta fase incluye solo el cuerpo y los encajes.
  4. 14/11
    Relógio único sincroniza el sonido de tus videos sin ajustes manualesKit gratis que sincroniza el sonido de videos hechos con código con el fotograma correspondiente.
  5. 14/11
    Fábrica de reels ASMR crea 3 videos satisfactorios por semana para que los apruebesKit gratis que genera 3 reels satisfactorios por semana sin grabar y solo publica los que apruebas.