जब लोग या स्वचालित मॉनिटर सुरक्षा या सुरक्षा चिंताओं को चिह्नित करते हैं तो नियंत्रण कक्ष आंतरिक अनुसंधान नौकरियों के लिए मॉडल आउटपुट काट देता है।
इस वर्ष अपने निर्देशों से परे काम करने वाले मॉडलों के कई खुलासों के बाद, OpenAI ने एक ऐसी प्रणाली बनाई है जो मॉडल आउटपुट तक AI अनुसंधान प्रयोग की पहुंच को काट सकती है।
सोमवार को एक ब्लॉग पोस्ट में, ओपनएआई ने सिस्टम को "कंट्रोल रूम" कहा, जो एक केंद्रीकृत प्रणाली है जो अपने अनुसंधान बुनियादी ढांचे में मॉडल वर्कलोड को ट्रैक करती है और सुरक्षा या सुरक्षा संबंधी चिंताएं उत्पन्न होने पर उन्हें तुरंत रोक देती है।
कंपनी ने कहा, "जैसे-जैसे हमारे मॉडल अधिक शक्तिशाली होते जा रहे हैं और संबंधित सुरक्षा और सुरक्षा जोखिम बड़े होते जा रहे हैं, यह और अधिक महत्वपूर्ण होता जा रहा है कि हम संभावित मुद्दों का पता लगा सकें, और जरूरत पड़ने पर मॉडलों को उनके ट्रैक में तुरंत रोक सकें।"
यह घोषणा ओपनएआई द्वारा इस वर्ष कई घटनाओं का खुलासा करने के बाद आई है जिसमें अनुसंधान मॉडल ने मूल्यांकन के दौरान अपने निर्देशों के बाहर काम किया। जुलाई में, कंपनी ने कहा कि उसके मॉडल प्रतिबंधित परीक्षण वातावरण से बच गए थे और सुरक्षा मूल्यांकन में धोखा देने के लिए हगिंग फेस को हैक कर लिया था।
अक्टूबर में, इसने खुलासा किया कि एक शोध मॉडल ने टेस्टनेट ईथर का उपयोग करके स्मार्ट अनुबंध परिनियोजन के भुगतान के लिए प्राधिकरण के बिना एक क्रिप्टो वॉलेट का उपयोग किया था, फिर अपने अंतिम सारांश से खर्च को हटा दिया।
नियंत्रण कक्ष वर्तमान में ओपनएआई के आंतरिक अनुसंधान कार्यभार को कवर करता है, जैसे प्रशिक्षण प्रयोग, मूल्यांकन और डेटा प्रोसेसिंग।
यह प्रत्येक शोध कार्य को एक पहचानकर्ता निर्दिष्ट करके काम करता है, जिसे मॉडल आउटपुट उत्पन्न करने से पहले अनुमान इंजन जांचता है। ओपनएआई के अनुसार, यदि कोई व्यक्ति या स्वचालित निगरानी प्रणाली काम बंद करने का आदेश देती है, तो नियंत्रण कक्ष अपना प्राधिकरण रद्द कर देता है, भले ही अंतर्निहित अनुसंधान कार्यक्रम चालू रहता हो, फिर भी आगे के आउटपुट को अवरुद्ध कर देता है।
ओपनएआई ने कहा कि कैश्ड प्राधिकरण शटडाउन में 35 सेकंड तक की देरी कर सकते हैं। यदि नियंत्रण कक्ष अनुपलब्ध हो जाता है तो सिस्टम को नए अनुरोधों को अस्वीकार करने के लिए भी डिज़ाइन किया गया है।
संबंधित: डीपसीक एआई एजेंट विकसित कर रहा है जिसके लिए कम मानवीय इनपुट की आवश्यकता होती है: रिपोर्ट
