メニュー

暗号セクション

新しいマルチモーダル ナレッジ エージェント ベンチマークは、AI が青写真、回路図、臨床スキャンを現役の専門家のように処理できるかどうかをテストします

2026 年 11 月 10 日火曜日 · 13:21 EST · 3 分で読めます

AIでは

共有

Google DeepMind と Artificial Analysis は、AI エージェントの新しい基準をリリースしました。この基準では、ほとんどのベンチマークよりもはるかに注意深く図を観察する必要があります。

マルチモーダル ナレッジ エージェント ベンチマーク (MKA) は、複雑で視覚的に負荷の高い専門的な作業に基づいて自律エージェントを評価します。雑学的な質問や謎解きは省略します。業績評価に近いですね。

MKA が実際にテストする内容

2 つの組織は、2026 年 11 月 10 日に MKA を発表しました。このリリースは、DeepMind のブログ投稿および付随する技術文書と同時に行われました。

このベンチマークには、10 の業界にまたがる 200 のプライベート タスクが含まれています。各タスクは、83 の異なる職業を代表する専門家からの意見をもとに形成されました。

エージェントは、建築設計図、エンジニアリング図、臨床スキャン、その他の緻密な視覚資料を解釈する必要があります。次に、エージェントはスプレッドシート、スライドデッキ、マークアップされた画像などの実際の成果物を作成する必要があります。

これらのタスクは、人間の専門家が完了するまでに通常 3 ～ 8 時間かかる複数ステップのプロジェクトに基づいてモデル化されています。

採点は厳密な専門家のルーブリックに従います。これらのルーブリックは、視覚的なデザインとともに事実の正確さを重視するため、醜くて読みにくいスライドデッキに正解が埋もれている場合でも、減点されます。

採点者の採点

MKA は、他の AI システムの出力をスコアリングする AI システムであるエージェント自動評価者に依存しています。

研究結果によると、自動評価者は人間の専門家と評価基準に関して 96.2% の一致率に達しました。

AI、テクノロジー、そしてそれらが動く市場について、毎日 1 回のブリーフィングで説明します。

毎日。無料。暗号通貨、金融、政策にわたる 34,000 人以上の読者に加わりましょう。

私たちはあなたのプライバシーを尊重します。いつでも購読を解除してください。

タスクのプライベートな性質も重要です。 200 のタスクは公開されていないため、開発者は事前に答えに基づいてモデルを簡単にトレーニングすることができません。

初期の結果: 品質とコスト

最初のリーダーボードには、Google の注目すべきデータ ポイントがすでに含まれています。 Gemini 4 Carbon (高) は、MKA の品質で 2 番目にランクされました。

さらに目を引く数字は効率です。 Gemini 4 Carbon (高) は、トップの座を獲得したモデルよりも約 6 倍低いコストでタスクを完了しました。

明らかな点に注目する価値があります。 DeepMind はベンチマークを共同構築し、独自のモデルはコスト調整後のパフォーマンスで良好なスコアを獲得しました。それによって結果が無効になるわけではありませんが、読者はその関係を念頭に置いて結果を比較検討する必要があります。

なぜ視覚的推論が欠けているのか

既存の AI ベンチマークの多くはテキストのみのタスクに依存しています。 MKA は、視覚的な推論を評価自体に組み込むことで、そのギャップを埋めるように設計されています。

プロの仕事が純粋なテキストであることはほとんどないため、このギャップは重要です。建築家は図面から、エンジニアは回路図から、臨床医はスキャンから作業します。

視覚的な理解と洗練された出力の両方を要求することで、MKA は知識作業の完全なループをテストします。つまり、複雑な内容を取り入れ、それについて推論し、使用可能な製品を返却します。

AI開発者と購入者にとってこれが何を意味するか

モデル開発者にとって、MKA はマルチモーダル機能の重要性を高めます。また、デザインの品質もスコアカードに反映されます。エキスパートのルーブリックが雑然とした、または混乱を招く成果物にペナルティを与える場合、開発者はもはやフォーマットを後付けとして扱うことはできません。

10 のセクターにわたる 200 のタスクは、手動で厳選されたベンチマークとしてはかなりの量ですが、それでも専門的な作業の一部をカバーしており、結果が 1 つの分野で別の分野に適切に移行されない可能性があります。

自動評価者と人間の専門家との 96.2% の一致は強いですが、残りの不一致は最も困難なタスクや最も主観的なタスクに集中する可能性があります。

Artificial Analysis はプロジェクトにサードパーティの評価ブランドをもたらしますが、DeepMind は研究力と直接的な競争上の利益をもたらします。他の研究所がどのように反応するか、そしてモデルを提出して方法論を受け入れるかどうかによって、MKA が業界標準になるか、多くのベンチマークの 1 つに留まるかが決まります。

開示: この記事はディエゴ・アルマダ・ロペスによって編集されました。コンテンツの作成およびレビュー方法の詳細については、編集ポリシーをご覧ください。

あなたが持っているものに関するニュース

株式と仮想通貨をフォローしてください。 Pro の何百もの出版社からのニュースを読んでください。

プライバシーポリシー