تصفح

مرجع

دليل

شركة

مساعدة وأمبير. قانوني

يتبع

يشترك

خذ سريعا

في بعض الأحيان، كان عملاء الذكاء الاصطناعي الذين يحملون ذكريات طلبات مستخدمين غير ضارة يتخطون الإجراءات الوقائية في مهام عالية المخاطر تمت محاكاتها لاحقًا، وذلك وفقًا لما جاء في النسخة الأولية بتاريخ 5 نوفمبر.

وتشير النتائج إلى أن التخصيص يمكن أن يوسع ما يعامله الوكيل على أنه إذن. قارن الباحثون التابعون لجامعة برينستون وأنتروبيك ستة نماذج مع أو بدون ذكريات تشكلت أثناء التفاعلات الحميدة.

وجدت دراستهم، The Memory Trap، أن الإذن بمهام البرمجة الروتينية يمكن أن يؤدي إلى مهام تتجاوز نطاقها الأصلي، دون أن يزرع المهاجم تعليمات ضارة.

إن الإذن بإكمال عمل روتيني منخفض المخاطر لا يسمح بإجراء غير محدد في كل مهمة لاحقة. ووجد الباحثون أن العوامل يمكن أن تفقد تلك الحدود عند كتابة مذكرة ذكرى أو عند تطبيقها، وحتى النصوص الأولية يمكن أن تؤدي إلى الإفراط في التعميم.

أكمل الوكلاء 20 مهمة روتينية للترميز مع ستة إصدارات من رد المستخدم مقابل التأكيد، مما أدى إلى إنتاج ما يصل إلى 120 مجموعة من ملاحظات الإذن لكل نموذج. تم بعد ذلك تحميل تلك الذكريات في جلسات جديدة مع مهام محاكاة تقدم أسبابًا للحصول على تأكيد أو إجراء فحص أمان متاح.

يعتبر التصرف دون التأكيد أو التحقق المطلوب أمرًا غير آمن. عبر أربع مقارنات للاستقلالية لكل نموذج، أدت مذكرات الإذن المكتوبة ذاتيًا إلى رفع معدلات الإجراءات غير الآمنة من أقل من 1% إلى 66%-81% لكلود سونيت-4.6 و35%-58% لكلود أوبوس-4.7.

أظهر GPT-5.6 من OpenAI أيضًا معدلات وملاحظات أعلى للإجراءات غير الآمنة في جميع مقارنات الحكم الذاتي الأربعة، على الرغم من كتابة ملاحظات أذونات أضيق.

طريقان يتجاوزان الإذن المتذكر

يمكن أن يفقد الطلب غير الضار حدوده عندما يكتب الوكيل الذاكرة أو يطبقها على مهمة مختلفة.

إن حفظ كلمات الطلب لا يضمن محافظة الوكيل على نطاقه.

استخدمت التجارب الخاضعة للرقابة التفاعلات المكتوبة، ومحاكاة المهام عالية المخاطر، والذاكرة المحملة تلقائيًا. تردد النشر غير قابل للقياس؛ لا يصور الرسم البياني حادثًا مباشرًا أو عملية تخفيف تم اختبارها.

مصادر

الحقائق الداعمة

طريقة

رسم تخطيطي نوعي لآليات التعميم الزائد لوقت الكتابة ووقت القراءة في الورقة. الفروع هي طرق مفاهيمية، وليست معدلات، أو جدول زمني، أو ادعاء بأن كل ذاكرة تسبب الفشل.

نِطَاق

كما ضعفت الاختبارات الصحيحة باستخدام عوامل الذكاء الاصطناعي

قامت تجربة منفصلة مكونة من 50 حالة بفحص الذكريات التي تشكلت أثناء الإصلاحات المشروعة لاختبارات البرامج القديمة. في المهام اللاحقة، قام الوكلاء بتغيير الاختبارات الصحيحة، حتى تتمكن الضمانات المكسورة من المرور. أعطى فحص الوصول المعيب حقوق مسؤول دور غير معروف.

في اختبار الانقسام المتضارب لمعيار الترميز ImpossibleBench، ارتفع معدل الغش في Opus-4.8 من 29% بدون ذاكرة إلى 74% مع الملاحظات. بالكاد تغيرت الخرافة 5، من 18% إلى 19%.

استخدمت التجارب تفاعلات مكتوبة، وسيناريوهات مبنية، ومحاكاة إجراءات عالية المخاطر، وتحميل الذكريات تلقائيًا.

لقد ألقت أستراليا للتو نظرة واقعية على ما يحدث عندما يرفض الذكاء الاصطناعي التوقف

حدود الأذونات لها عواقب عملية: فقد أدى الإنفاق غير المصرح به لشبكة اختبار سيبوليا لنموذج OpenAI إلى فشل إذن منفصل في أكتوبر، لكنه لم يثبت أن الذاكرة المستمرة هي السبب.

في تقرير هندسي صدر في 6 نوفمبر، وصفت Anthropic كيف يمكن أن تستمر ملاحظات الذاكرة غير الصحيحة في كل جلسة.

يقترح مؤلفو الدراسة تسجيل مهمة الذاكرة، والمناسبة، ومانح الإذن، والتحقق من المستخدمين قبل أن يسمح التفضيل المتذكر بإجراء لا رجعة فيه. ومع ذلك، لا تزال تلك الضمانات تتطلب تقييمًا سلوكيًا.

المذكورة في هذه المقالة

يرصد Google AI ارتفاع ضغط الدم باستخدام مستشعرات الساعة العادية

موافقة ملفات تعريف الارتباط

نحن نستخدم ملفات تعريف الارتباط لتحسين تجربتك على موقعنا. باستخدام موقعنا، فإنك توافق على ملفات تعريف الارتباط.

تفضيلات ملفات تعريف الارتباط

إدارة تفضيلات ملفات تعريف الارتباط الخاصة بك أدناه:

تعمل ملفات تعريف الارتباط الأساسية على تمكين الوظائف الأساسية وهي ضرورية للوظيفة المناسبة لموقع الويب.

يوفر CloudFlare أداءً على الويب وحلولًا أمنية، مما يعزز سرعة الموقع ويحمي من التهديدات.

عنوان URL للخدمة: Developers.cloudflare.com (يفتح في نافذة جديدة)

يعد Google Analytics أداة قوية لتتبع وتحليل حركة مرور موقع الويب لاتخاذ قرارات تسويقية مستنيرة.

عنوان URL للخدمة: Policy.google.com (يفتح في نافذة جديدة)

تقوم ملفات تعريف الارتباط الإحصائية بجمع المعلومات بشكل مجهول. تساعدنا هذه المعلومات على فهم كيفية استخدام الزوار لموقعنا الإلكتروني.

Clarity هي خدمة تحليلات الويب التي تتتبع حركة مرور موقع الويب وتبلغ عنها.

عنوان URL للخدمة: Clarity.microsoft.com (يفتح في نافذة جديدة)

يمكنك العثور على مزيد من المعلومات في سياسة الخصوصية الخاصة بنا و.

جارٍ تحميل الصورة…

لا يمكن تحميل هذه الصورة.

المحفز