Menu
Sections cryptographiques
Le nouveau benchmark d'agent de connaissances multimodal teste si l'IA peut gérer des plans, des schémas et des analyses cliniques comme un professionnel en activité.
Mar 10 novembre 2026 · 13h21 HNE · 3 min de lecture
En IA
Partager
Google DeepMind et Artificial Analysis ont publié un nouveau critère pour les agents d'IA, et cela implique beaucoup plus de loucher sur les diagrammes que ne le font la plupart des benchmarks.
Le benchmark Multimodal Knowledge Agent, ou MKA, note les agents autonomes sur un travail professionnel complexe et visuellement lourd. Il évite les questions triviales et la résolution d'énigmes. C’est plus proche d’une évaluation des performances.
Ce que MKA teste réellement
Les deux organisations ont dévoilé MKA le 10 novembre 2026. La publication a coïncidé avec un article de blog DeepMind et un document technique d'accompagnement.
Le benchmark contient 200 tâches privées réparties dans 10 secteurs verticaux. Chaque tâche a été élaborée avec la contribution de spécialistes représentant 83 professions différentes.
Les agents doivent interpréter les plans architecturaux, les schémas techniques, les analyses cliniques et tout autre matériel visuel dense. Les agents doivent ensuite produire de véritables livrables, notamment des feuilles de calcul, des présentations de diapositives et des images annotées.
Les tâches sont calquées sur des projets en plusieurs étapes qui prennent généralement de 3 à 8 heures aux professionnels humains.
La notation suit des rubriques d'experts strictes. Ces rubriques mettent en balance l’exactitude factuelle et la conception visuelle, de sorte qu’une réponse correcte enfouie dans un jeu de diapositives laid et illisible fait toujours perdre des points.
Noter les niveleuses
MKA s'appuie sur un autorateur agent, un système d'IA qui note les résultats d'autres systèmes d'IA.
Selon les résultats de la recherche, l'autorateur a atteint un taux d'accord de 96,2 % avec les experts humains sur les critères d'évaluation.
L'IA, la technologie et les marchés qu'ils évoluent, en un seul briefing quotidien.
Tous les jours. Gratuit. Rejoignez plus de 34 000 lecteurs dans les domaines de la cryptographie, de la finance et de la politique.
Nous respectons votre vie privée. Désabonnez-vous à tout moment.
Le caractère privé des tâches compte également. Étant donné que les 200 tâches ne sont pas publiques, les développeurs ne peuvent pas facilement former leurs modèles sur les réponses à l'avance.
Premiers résultats : qualité versus coût
Le premier classement contient déjà un point de données notable pour Google. Gemini 4 Carbon (élevé) s'est classé deuxième en qualité sur MKA.
Le chiffre le plus frappant est celui de l’efficacité. Gemini 4 Carbon (élevé) a accompli des tâches à un coût environ 6 fois inférieur à celui du modèle qui a pris la première place.
Il convient de noter une évidence. DeepMind a co-construit le benchmark et son propre modèle a obtenu de bons résultats en termes de performances ajustées en fonction des coûts. Cela n’invalide pas les résultats, mais les lecteurs doivent les évaluer en gardant à l’esprit cette relation.
Pourquoi le raisonnement visuel est la pièce manquante
De nombreux benchmarks d’IA existants reposent sur des tâches contenant uniquement du texte. MKA est conçu pour combler cette lacune en intégrant le raisonnement visuel dans l'évaluation elle-même.
Cet écart est important car le travail professionnel est rarement du pur texte. Les architectes travaillent à partir de dessins, les ingénieurs à partir de schémas et les cliniciens à partir de scans.
En exigeant à la fois une compréhension visuelle et un résultat soigné, MKA teste la boucle complète du travail de connaissances : intégrer un matériel complexe, le raisonner et restituer un produit utilisable.
Ce que cela signifie pour les développeurs et les acheteurs d'IA
Pour les développeurs de modèles, MKA fait monter les enjeux sur la capacité multimodale. Cela place également la qualité du design sur le tableau de bord. Les développeurs ne peuvent plus considérer le formatage après coup si les rubriques d'experts pénalisent les livrables encombrés ou déroutants.
Deux cents tâches réparties dans 10 secteurs, c'est considérable pour un référentiel soigneusement sélectionné, mais cela couvre toujours une partie du travail professionnel, et les résultats dans un secteur vertical peuvent ne pas être facilement transférés à un autre.
L’accord de 96,2 % de l’autorateur avec les experts humains est fort, mais le désaccord restant pourrait se concentrer sur les tâches les plus difficiles ou les plus subjectives.
Artificial Analysis apporte une marque d'évaluation tierce au projet, tandis que DeepMind apporte le muscle de la recherche et un intérêt concurrentiel direct. La réaction des autres laboratoires, et s’ils soumettent des modèles et acceptent la méthodologie, détermineront si MKA deviendra une norme industrielle ou restera une référence parmi tant d’autres.
Divulgation : Cet article a été édité par Diego Almada Lopez. Pour plus d'informations sur la façon dont nous créons et révisons le contenu, consultez notre politique éditoriale.
Les nouvelles de ce que vous détenez
Suivez vos actions et crypto. Lisez les actualités à leur sujet auprès de centaines d'éditeurs dans Pro.
Politique de confidentialité
