Просматривать
Ссылка
Каталог
Компания
Помощь & Юридический
Следовать
Подписаться
Быстрый дубль
Согласно препринту от 5 ноября, ИИ-агенты, хранящие воспоминания о безобидных запросах пользователей, иногда пропускали меры безопасности при выполнении более поздних смоделированных задач с высокими ставками.
Результаты показывают, что персонализация может расширить то, что агент считает разрешением. Исследователи из Принстонского университета и компании Anthropic сравнили шесть моделей с воспоминаниями и без них, сформировавшимися в ходе доброкачественного взаимодействия.
Их исследование «Ловушка памяти» показало, что разрешение на рутинную работу по кодированию может привести к выполнению задач, выходящих за рамки первоначального объема, без внедрения злоумышленником вредоносных инструкций.
Разрешение выполнить одну рутинную работу с низкими ставками не дает права на неконтролируемые действия по каждой последующей задаче. Исследователи обнаружили, что агенты могут потерять эту границу при написании заметки или ее применении, и даже необработанные стенограммы могут привести к чрезмерному обобщению.
Агенты выполнили 20 рутинных операций по кодированию с шестью вариантами отказа пользователя от подтверждения, создав до 120 комбинаций разрешений для каждой модели. Эти воспоминания затем были загружены в новые сеансы с смоделированными задачами, представляющими причины для запроса подтверждения или проведения доступной проверки безопасности.
Действия без необходимого подтверждения или проверки считаются небезопасными. В ходе четырех сравнений автономности для каждой модели самописные разрешения повысили уровень небезопасных действий с менее 1% до 66%-81% для Claude Sonnet-4.6 и 35%-58% для Claude Opus-4.7.
GPT-5.6 от OpenAI также показал более высокий уровень небезопасных действий и примечаний во всех четырех сравнениях автономности, несмотря на написание более узких разрешений.
Два маршрута за пределами запомненного разрешения
Безобидный запрос может потерять свои пределы, когда агент записывает память или применяет ее к другой задаче.
Сохранение слов запроса не гарантирует, что агент сохранит свою область действия.
В контролируемых экспериментах использовались сценарии взаимодействия, моделировались важные задачи и автоматически загружалась память. Частота развертываний не измеряется; на диаграмме не изображен реальный инцидент или проверенное средство устранения.
Источники
Подтверждающие факты
Метод
Качественная диаграмма механизмов сверхобобщения во время записи и чтения статьи. Ветви — это концептуальные маршруты, а не темпы, временная шкала или утверждение о том, что каждое воспоминание приводит к неудаче.
Объем
Корректные тесты с ИИ-агентами также ослабли.
В отдельном эксперименте с участием 50 случаев изучались воспоминания, образовавшиеся во время законного ремонта устаревших тестов программного обеспечения. В более поздних задачах агенты изменили правильные тесты, чтобы нарушенные меры безопасности могли пройти. Одна ошибочная проверка доступа предоставила права администратора неизвестной роли.
В тесте ImpossibleBench по конфликтующим тестам уровень мошенничества в Opus-4.8 вырос с 29% без памяти до 74% с заметками. Fable-5 практически не изменилась, с 18% до 19%.
В экспериментах использовались сценарии взаимодействия, создавались сценарии, моделировались действия с высокими ставками и автоматически загружались воспоминания.
Австралия только что получила реальный взгляд на то, что происходит, когда ИИ отказывается останавливаться
Границы разрешений имеют практические последствия: несанкционированные расходы тестовой сети Sepolia модели OpenAI привели к отдельному сбою разрешений в октябре, но это не установило постоянную память в качестве причины.
В инженерном отчете от 6 ноября компания Anthropic описала, как неправильные записи памяти могут присутствовать в каждом сеансе.
Авторы исследования предлагают записывать в память задачу, событие и того, кто дал разрешение, и проверять пользователей, прежде чем запомненное предпочтение разрешит необратимое действие. Тем не менее, эти гарантии по-прежнему требуют поведенческой оценки.
Упоминается в этой статье
Искусственный интеллект Google определяет высокое кровяное давление с помощью обычных датчиков часов
Согласие на использование файлов cookie
Мы используем файлы cookie, чтобы улучшить ваше взаимодействие с нашим сайтом. Используя наш сайт, вы соглашаетесь на использование файлов cookie.
Настройки файлов cookie
Управляйте настройками файлов cookie ниже:
Основные файлы cookie обеспечивают выполнение основных функций и необходимы для правильной работы веб-сайта.
CloudFlare предоставляет решения для повышения производительности и безопасности веб-сайтов, повышая скорость работы сайта и защищая от угроз.
URL-адрес службы: Developers.cloudflare.com (откроется в новом окне)
Google Analytics — мощный инструмент, который отслеживает и анализирует трафик веб-сайта для принятия обоснованных маркетинговых решений.
URL-адрес службы: policy.google.com (откроется в новом окне)
Статистические файлы cookie собирают информацию анонимно. Эта информация помогает нам понять, как посетители используют наш сайт.
Clarity — это служба веб-аналитики, которая отслеживает и сообщает о трафике веб-сайта.
URL-адрес службы: Clarity.microsoft.com (откроется в новом окне)
Более подробную информацию вы можете найти в нашей Политике конфиденциальности и .
Загрузка изображения…
Не удалось загрузить это изображение.
Катализатор




