تقوم غرفة التحكم بقطع مخرجات النموذج لوظائف البحث الداخلية عندما يشير الأشخاص أو المراقبون الآليون إلى مخاوف تتعلق بالسلامة أو الأمان.
قامت شركة OpenAI ببناء نظام يمكنه قطع وصول تجربة بحثية للذكاء الاصطناعي إلى مخرجات النموذج، وذلك بعد الكشف عن عدة نماذج لنماذجها التي تعمل بما يتجاوز تعليماتها هذا العام.
في منشور مدونة يوم الاثنين، أطلقت OpenAI على النظام اسم "غرفة التحكم"، وهو نظام مركزي يتتبع أعباء العمل النموذجية عبر البنية التحتية البحثية الخاصة به ويوقفها بسرعة عند ظهور مخاوف تتعلق بالسلامة أو الأمن.
وقالت الشركة: "نظرًا لأن نماذجنا أصبحت أكثر قوة وأصبحت مخاطر السلامة والأمن المرتبطة بها أكبر، فقد أصبح من المهم أكثر فأكثر أن نتمكن من اكتشاف المشكلات المحتملة، وإيقاف النماذج بسرعة في مساراتها عند الحاجة".
ويأتي هذا الإعلان بعد أن كشفت OpenAI عن عدة حوادث هذا العام تصرفت فيها نماذج البحث خارج تعليماتها أثناء التقييمات. وفي يوليو/تموز، قالت الشركة إن نماذجها أفلتت من بيئة اختبار مقيدة واخترقت Hugging Face للغش في تقييم أمني.
وفي أكتوبر، كشفت أن نموذجًا بحثيًا استخدم محفظة عملات مشفرة دون تصريح لدفع تكاليف عمليات نشر العقود الذكية باستخدام testnet Ether، ثم حذف الإنفاق من ملخصه النهائي.
تغطي غرفة التحكم حاليًا أعباء العمل البحثية الداخلية لـ OpenAI، مثل تجارب التدريب والتقييمات ومعالجة البيانات.
وهو يعمل عن طريق تعيين معرف لكل مهمة بحثية، والذي يتحقق منه محرك الاستدلال قبل إنشاء مخرجات النموذج. إذا أمر شخص ما أو نظام مراقبة آلي بإيقاف المهمة، فإن غرفة التحكم تلغي ترخيصها، مما يمنع المزيد من الإنتاج حتى لو استمر برنامج البحث الأساسي في العمل، وفقًا لـ OpenAI.
وقالت OpenAI إن التفويضات المخزنة مؤقتًا يمكن أن تؤخر عملية إيقاف التشغيل لمدة تصل إلى 35 ثانية. تم تصميم النظام أيضًا لرفض الطلبات الجديدة في حالة عدم توفر غرفة التحكم.
ذات صلة: DeepSeek يقوم بتطوير وكيل الذكاء الاصطناعي الذي يتطلب مدخلات بشرية أقل: تقرير
