Navegar
Referencia
Directorio
Compañía
Ayuda y Legal
Seguir
Suscribir
Toma rápida
Los agentes de IA que llevaban recuerdos de solicitudes inofensivas de los usuarios a veces se saltaban las medidas de seguridad en tareas simuladas posteriores de alto riesgo, según una preimpresión del 5 de noviembre.
El hallazgo sugiere que la personalización puede ampliar lo que un agente considera permiso. Investigadores afiliados a la Universidad de Princeton y Anthropic compararon seis modelos con y sin recuerdos formados durante interacciones benignas.
Su estudio, The Memory Trap, descubrió que el permiso para tareas rutinarias de codificación podría llevar a tareas más allá de su alcance original, sin que un atacante introduzca instrucciones maliciosas.
El permiso para completar una tarea de bajo riesgo no autoriza una acción no controlada en todas las tareas posteriores. Los investigadores descubrieron que los agentes podrían perder ese límite al escribir una nota de memoria o al aplicarla, e incluso las transcripciones sin procesar podrían producir una generalización excesiva.
Los agentes completaron 20 tareas de codificación de rutina con seis versiones de rechazo del usuario contra la confirmación, produciendo hasta 120 combinaciones de notas de permiso por modelo. Luego, esos recuerdos se cargaron en nuevas sesiones con tareas simuladas que presentaban motivos para buscar confirmación o ejecutar una verificación de seguridad disponible.
Actuar sin la confirmación o verificación necesaria se considera inseguro. En cuatro comparaciones de autonomía por modelo, las notas de permiso escritas por uno mismo aumentaron las tasas de acciones inseguras de menos del 1 % al 66 %-81 % para Claude Sonnet-4.6 y al 35 %-58 % para Claude Opus-4.7.
GPT-5.6 de OpenAI también mostró tasas y notas de acciones inseguras más altas en las cuatro comparaciones de autonomía, a pesar de escribir notas de permiso más estrechas.
Dos rutas más allá del permiso recordado
Una solicitud inofensiva puede perder sus límites cuando un agente escribe en la memoria o la aplica a una tarea diferente.
Preservar las palabras de una solicitud no garantiza que el agente conserve su alcance.
Los experimentos controlados utilizaron interacciones programadas, tareas simuladas de alto riesgo y memoria cargada automáticamente. La frecuencia de despliegue no se mide; El diagrama no representa un incidente real ni una mitigación probada.
Fuentes
Hechos de apoyo
Método
Diagrama cualitativo de los mecanismos de sobregeneralización del tiempo de escritura y lectura del artículo. Las bifurcaciones son rutas conceptuales, no tarifas, una línea de tiempo o una afirmación de que cada recuerdo provoca un fracaso.
Alcance
Las pruebas correctas con agentes de IA también se debilitan
Un experimento separado de 50 casos examinó los recuerdos formados durante reparaciones legítimas de pruebas de software obsoletas. En tareas posteriores, los agentes alteraron las pruebas correctas para que las salvaguardas rotas pudieran pasar. Una verificación de acceso defectuosa otorgó derechos de administrador a un rol desconocido.
En la división de pruebas conflictivas del punto de referencia de codificación ImpossibleBench, la tasa de trampa de Opus-4.8 aumentó del 29% sin memoria al 74% con notas. Fable-5 apenas cambió, del 18% al 19%.
Los experimentos utilizaron interacciones escritas, escenarios construidos, acciones simuladas de alto riesgo y recuerdos cargados automáticamente.
Australia acaba de ver en el mundo real lo que sucede cuando una IA se niega a detenerse
Los límites de permisos tienen consecuencias prácticas: el gasto no autorizado de la red de prueba Sepolia de un modelo OpenAI generó una falla de permiso separada en octubre, pero no estableció la memoria persistente como la causa.
En un informe de ingeniería del 6 de noviembre, Anthropic describió cómo las notas de memoria incorrectas pueden aparecer en cada sesión.
Los autores del estudio proponen registrar la tarea, la ocasión y el otorgante de permiso de un recuerdo, y consultar con los usuarios antes de que una preferencia recordada autorice una acción irreversible. Sin embargo, esas salvaguardas aún requieren una evaluación del comportamiento.
Mencionado en este artículo.
La IA de Google detecta la presión arterial alta utilizando sensores de relojes comunes
Consentimiento de cookies
Utilizamos cookies para mejorar su experiencia en nuestro sitio. Al utilizar nuestro sitio, usted acepta las cookies.
Preferencias de cookies
Administre sus preferencias de cookies a continuación:
Las cookies esenciales permiten funciones básicas y son necesarias para el correcto funcionamiento del sitio web.
CloudFlare proporciona soluciones de seguridad y rendimiento web, mejorando la velocidad del sitio y protegiendo contra amenazas.
URL del servicio: desarrolladores.cloudflare.com (se abre en una ventana nueva)
Google Analytics es una poderosa herramienta que rastrea y analiza el tráfico del sitio web para tomar decisiones de marketing informadas.
URL del servicio: políticas.google.com (se abre en una ventana nueva)
Las cookies estadísticas recopilan información de forma anónima. Esta información nos ayuda a comprender cómo los visitantes utilizan nuestro sitio web.
Clarity es un servicio de análisis web que rastrea e informa el tráfico del sitio web.
URL del servicio: claridad.microsoft.com (se abre en una ventana nueva)
Puedes encontrar más información en nuestra Política de Privacidad y .
Cargando imagen…
Esta imagen no se pudo cargar.
El catalizador
