Parcourir

Référence

Annuaire

Entreprise

Aide et amp; Légal

Suivre

S'abonner

Prise rapide

Selon une prépublication du 5 novembre, les agents d'IA transportant des souvenirs de demandes inoffensives d'utilisateurs ignoraient parfois les mesures de protection lors de tâches simulées ultérieures à enjeux élevés.

Les résultats suggèrent que la personnalisation peut élargir ce qu’un agent considère comme une autorisation. Des chercheurs affiliés à l'Université de Princeton et à Anthropic ont comparé six modèles avec et sans souvenirs formés lors d'interactions bénignes.

Leur étude, The Memory Trap, a révélé que l'autorisation des tâches de codage de routine pouvait s'étendre à des tâches dépassant leur portée initiale, sans qu'un attaquant ne plante d'instructions malveillantes.

L’autorisation d’accomplir une tâche à faibles enjeux n’autorise pas une action incontrôlée sur chaque tâche ultérieure. Les chercheurs ont découvert que les agents pouvaient perdre cette limite lorsqu’ils rédigeaient une note de mémoire ou lorsqu’ils l’appliquaient, et même des transcriptions brutes pouvaient produire une généralisation excessive.

Les agents ont effectué 20 tâches de codage de routine avec six versions de refus des utilisateurs contre confirmation, produisant jusqu'à 120 combinaisons de notes d'autorisation par modèle. Ces souvenirs ont ensuite été chargés dans de nouvelles sessions avec des tâches simulées présentant les raisons de demander une confirmation ou d'exécuter un contrôle de sécurité disponible.

Agir sans la confirmation ou la vérification nécessaire est considéré comme dangereux. Dans quatre comparaisons d'autonomie par modèle, les notes d'autorisation auto-écrites ont augmenté les taux d'actions dangereuses de moins de 1 % à 66 %-81 % pour Claude Sonnet-4.6 et 35 %-58 % pour Claude Opus-4.7.

Le GPT-5.6 d'OpenAI a également montré des taux d'actions dangereuses et des notes plus élevées dans les quatre comparaisons d'autonomie, malgré l'écriture de notes d'autorisation plus étroites.

Deux itinéraires au-delà de l'autorisation mémorisée

Une requête inoffensive peut perdre ses limites lorsqu'un agent écrit de la mémoire ou l'applique à une tâche différente.

Conserver les mots d'une demande ne garantit pas que l'agent en préserve la portée.

Les expériences contrôlées utilisaient des interactions scriptées, des tâches simulées à enjeux élevés et une mémoire chargée automatiquement. La fréquence de déploiement n’est pas mesurée ; le diagramme ne représente pas un incident réel ni une atténuation testée.

Sources

Faits à l’appui

Méthode

Diagramme qualitatif des mécanismes de surgénéralisation du temps d'écriture et du temps de lecture de l'article. Les branches sont des itinéraires conceptuels, et non des taux, une chronologie ou une affirmation selon laquelle chaque mémoire provoque un échec.

Portée

Les tests corrects avec les agents IA également affaiblis

Une expérience distincte de 50 cas a examiné les mémoires formées lors de réparations légitimes de tests de logiciels obsolètes. Lors de tâches ultérieures, les agents ont modifié les tests corrects afin que les protections brisées puissent réussir. Un contrôle d'accès défectueux a donné des droits d'administrateur à un rôle inconnu.

Sur la répartition des tests contradictoires de la référence de codage ImpossibleBench, le taux de triche de l'Opus-4.8 est passé de 29 % sans mémoire à 74 % avec des notes. Fable-5 a à peine changé, passant de 18 % à 19 %.

Les expériences utilisaient des interactions scriptées, des scénarios construits, des actions simulées à enjeux élevés et des mémoires chargées automatiquement.

L’Australie vient d’avoir un aperçu concret de ce qui se passe lorsqu’une IA refuse de s’arrêter

Les limites d'autorisation ont des conséquences pratiques : les dépenses non autorisées du réseau de test Sepolia d'un modèle OpenAI ont provoqué un échec d'autorisation distinct en octobre, mais elles n'ont pas établi que la mémoire persistante en était la cause.

Dans un rapport d'ingénierie du 6 novembre, Anthropic a décrit comment des notes de mémoire incorrectes peuvent apparaître dans chaque session.

Les auteurs de l'étude proposent d'enregistrer la tâche, l'occasion et le donneur d'autorisation d'un souvenir, et de vérifier auprès des utilisateurs avant qu'une préférence mémorisée n'autorise une action irréversible. Pourtant, ces garanties nécessitent toujours une évaluation comportementale.

Mentionné dans cet article

L'IA de Google détecte l'hypertension artérielle à l'aide de capteurs de montre ordinaires

Consentement aux cookies

Nous utilisons des cookies pour améliorer votre expérience sur notre site. En utilisant notre site, vous consentez aux cookies.

Préférences en matière de cookies

Gérez vos préférences en matière de cookies ci-dessous :

Les cookies essentiels activent les fonctions de base et sont nécessaires au bon fonctionnement du site Web.

CloudFlare fournit des solutions de performances et de sécurité Web, améliorant la vitesse du site et protégeant contre les menaces.

URL du service : développeurs.cloudflare.com (s'ouvre dans une nouvelle fenêtre)

Google Analytics est un outil puissant qui suit et analyse le trafic d'un site Web pour prendre des décisions marketing éclairées.

URL du service : politiques.google.com (s'ouvre dans une nouvelle fenêtre)

Les cookies statistiques collectent des informations de manière anonyme. Ces informations nous aident à comprendre comment les visiteurs utilisent notre site Web.

Clarity est un service d'analyse Web qui suit et rapporte le trafic d'un site Web.

URL du service : clarté.microsoft.com (ouvre dans une nouvelle fenêtre)

Vous pouvez trouver plus d'informations dans notre politique de confidentialité et .

Chargement de l'image…

Cette image n'a pas pu être chargée.

Le catalyseur