मेनू
क्रिप्टो अनुभाग
नया मल्टीमॉडल नॉलेज एजेंट बेंचमार्क परीक्षण करता है कि क्या एआई एक कामकाजी पेशेवर की तरह ब्लूप्रिंट, स्कीमैटिक्स और क्लिनिकल स्कैन को संभाल सकता है या नहीं
मंगलवार 10 नवंबर 2026 · 13:21 ईएसटी · 3 मिनट पढ़ा गया
एआई में
शेयर करना
Google डीपमाइंड और आर्टिफिशियल एनालिसिस ने एआई एजेंटों के लिए एक नया पैमाना जारी किया है, और इसमें अधिकांश बेंचमार्क की तुलना में आरेखों पर बहुत अधिक ध्यान देना शामिल है।
मल्टीमॉडल नॉलेज एजेंट बेंचमार्क या एमकेए, जटिल, दृष्टिगत रूप से भारी पेशेवर काम पर स्वायत्त एजेंटों को ग्रेड देता है। इसमें सामान्य ज्ञान वाले प्रश्न और पहेली सुलझाना शामिल नहीं है। यह प्रदर्शन समीक्षा के करीब है.
एमकेए वास्तव में क्या परीक्षण करता है
दोनों संगठनों ने 10 नवंबर, 2026 को एमकेए का अनावरण किया। रिलीज एक डीपमाइंड ब्लॉग पोस्ट और एक तकनीकी पेपर के साथ हुई।
बेंचमार्क में 10 उद्योग क्षेत्रों में फैले 200 निजी कार्य शामिल हैं। प्रत्येक कार्य को 83 विभिन्न व्यवसायों का प्रतिनिधित्व करने वाले विशेषज्ञों के इनपुट से आकार दिया गया था।
एजेंटों को वास्तुशिल्प ब्लूप्रिंट, इंजीनियरिंग स्कीमैटिक्स, क्लिनिकल स्कैन और अन्य सघन दृश्य सामग्री की व्याख्या करनी चाहिए। फिर एजेंटों को स्प्रेडशीट, स्लाइड डेक और चिह्नित छवियों सहित वास्तविक डिलिवरेबल्स का उत्पादन करना होगा।
कार्य बहु-चरणीय परियोजनाओं पर आधारित होते हैं जिन्हें पूरा करने में आमतौर पर मानव पेशेवरों को 3 से 8 घंटे लगते हैं।
स्कोरिंग सख्त विशेषज्ञ नियमों का पालन करती है। वे रूब्रिक्स दृश्य डिज़ाइन के साथ-साथ तथ्यात्मक सटीकता को भी महत्व देते हैं, इसलिए एक बदसूरत, अपठनीय स्लाइड डेक में छिपा हुआ एक सही उत्तर अभी भी अंक खो देता है।
ग्रेडर्स की ग्रेडिंग करना
एमकेए एक एजेंटिक ऑटोरेटर पर निर्भर है, एक एआई सिस्टम जो अन्य एआई सिस्टम के आउटपुट को स्कोर करता है।
शोध के निष्कर्षों के अनुसार, ऑटोरेटर मूल्यांकन मानदंडों पर मानव विशेषज्ञों के साथ 96.2% समझौते की दर पर पहुंच गया।
एआई, तकनीक, और जिन बाज़ारों में वे घूमते हैं—एक दैनिक ब्रीफिंग में।
दैनिक। मुक्त। क्रिप्टो, वित्त और नीति में 34,000+ पाठकों से जुड़ें।
हम आपकी निजता का सम्मान करते हैं. किसी भी समय सदस्यता समाप्त करें.
कार्यों की निजी प्रकृति भी मायने रखती है। क्योंकि 200 कार्य सार्वजनिक नहीं हैं, डेवलपर्स समय से पहले उत्तरों पर अपने मॉडल को आसानी से प्रशिक्षित नहीं कर सकते हैं।
प्रारंभिक परिणाम: गुणवत्ता बनाम लागत
पहले लीडरबोर्ड में पहले से ही Google के लिए एक उल्लेखनीय डेटा बिंदु शामिल है। जेमिनी 4 कार्बन (उच्च) एमकेए पर गुणवत्ता में दूसरे स्थान पर है।
अधिक ध्यान आकर्षित करने वाला आंकड़ा दक्षता है। जेमिनी 4 कार्बन (उच्च) ने शीर्ष स्थान प्राप्त करने वाले मॉडल की तुलना में लगभग 6 गुना कम लागत पर कार्य पूरा किया।
यह स्पष्ट ध्यान देने योग्य है। डीपमाइंड ने बेंचमार्क का सह-निर्माण किया, और इसके स्वयं के मॉडल ने लागत-समायोजित प्रदर्शन पर अच्छा स्कोर किया। यह परिणामों को अमान्य नहीं करता है, लेकिन पाठकों को उन्हें उस संबंध को ध्यान में रखते हुए तौलना चाहिए।
क्यों दृश्य तर्क गायब है?
कई मौजूदा एआई बेंचमार्क केवल टेक्स्ट कार्यों पर निर्भर करते हैं। एमकेए को मूल्यांकन में दृश्य तर्क को शामिल करके उस अंतर को भरने के लिए डिज़ाइन किया गया है।
यह अंतर मायने रखता है क्योंकि पेशेवर काम शायद ही कभी शुद्ध पाठ होता है। आर्किटेक्ट ड्राइंग से, इंजीनियर योजनाबद्ध तरीके से और चिकित्सक स्कैन से काम करते हैं।
दृश्य समझ और परिष्कृत आउटपुट दोनों की आवश्यकता के द्वारा, एमकेए ज्ञान कार्य के पूर्ण लूप का परीक्षण करता है: जटिल सामग्री लें, इसके बारे में तर्क करें, और एक उपयोगी उत्पाद वापस सौंपें।
एआई डेवलपर्स और खरीदारों के लिए इसका क्या मतलब है
मॉडल डेवलपर्स के लिए, एमकेए मल्टीमॉडल क्षमता पर दांव बढ़ाता है। यह स्कोरकार्ड पर डिज़ाइन की गुणवत्ता भी डालता है। यदि विशेषज्ञ रूब्रिक्स अव्यवस्थित या भ्रमित करने वाले डिलिवरेबल्स को दंडित करते हैं, तो डेवलपर्स अब फ़ॉर्मेटिंग को बाद में नहीं मान सकते हैं।
10 क्षेत्रों में दो सौ कार्य हाथ से तैयार किए गए बेंचमार्क के लिए पर्याप्त हैं, लेकिन यह अभी भी पेशेवर काम के एक हिस्से को कवर करता है, और एक कार्यक्षेत्र में परिणाम दूसरे में बड़े करीने से स्थानांतरित नहीं हो सकते हैं।
मानव विशेषज्ञों के साथ ऑटोरेटर का 96.2% समझौता मजबूत है, फिर भी शेष असहमति सबसे कठिन या सबसे व्यक्तिपरक कार्यों में हो सकती है।
कृत्रिम विश्लेषण परियोजना में एक तृतीय-पक्ष मूल्यांकन ब्रांड लाता है, जबकि डीपमाइंड अनुसंधान शक्ति और प्रत्यक्ष प्रतिस्पर्धी रुचि लाता है। अन्य लैब कैसे प्रतिक्रिया देते हैं, और क्या वे मॉडल प्रस्तुत करते हैं और कार्यप्रणाली को स्वीकार करते हैं, यह निर्धारित करेगा कि क्या एमकेए एक उद्योग मानक बन जाता है या कई के बीच एक बेंचमार्क बना रहता है।
प्रकटीकरण: यह लेख डिएगो अल्माडा लोपेज़ द्वारा संपादित किया गया था। हम सामग्री कैसे बनाते हैं और उसकी समीक्षा कैसे करते हैं, इस बारे में अधिक जानकारी के लिए हमारी संपादकीय नीति देखें।
आपके पास क्या है इसके बारे में खबर
अपने स्टॉक और क्रिप्टो का पालन करें। प्रो में सैकड़ों प्रकाशकों से उनके बारे में समाचार पढ़ें।
गोपनीयता नीति
