Меню

Крипторазделы

Новый эталонный тест мультимодального агента знаний проверяет, может ли ИИ обрабатывать чертежи, схемы и клинические снимки, как работающий профессионал.

Вт, 10 ноября 2026 · 13:21 EST · Чтение 3 минуты

В ИИ

Делиться

Google DeepMind и Artificial Analysis выпустили новый критерий для агентов ИИ, и он требует гораздо большего внимания к диаграммам, чем большинство тестов.

Тест Multimodal Knowledge Agent, или MKA, оценивает автономных агентов за сложную, визуально тяжелую профессиональную работу. Он пропускает викторины и решение головоломок. Это ближе к обзору производительности.

Что на самом деле тестирует MKA

Обе организации представили MKA 10 ноября 2026 года. Релиз совпал с публикацией в блоге DeepMind и сопутствующим техническим документом.

Тест содержит 200 частных задач, распределенных по 10 отраслевым вертикалям. Каждая задача была сформулирована с участием специалистов 83 различных профессий.

Агенты должны интерпретировать архитектурные чертежи, инженерные схемы, клинические снимки и другой плотный визуальный материал. Затем агентам приходится создавать реальные результаты, включая электронные таблицы, слайды и размеченные изображения.

Задачи моделируются на основе многоэтапных проектов, выполнение которых обычно занимает у специалистов от 3 до 8 часов.

Оценка проводится по строгим экспертным критериям. Эти критерии учитывают фактическую точность наряду с визуальным дизайном, поэтому правильный ответ, спрятанный в уродливом, нечитаемом слайде, все равно теряет баллы.

Выставление оценок грейдерам

MKA опирается на агентного авторейтера — систему искусственного интеллекта, которая оценивает результаты других систем искусственного интеллекта.

Согласно результатам исследования, авторрейтер достиг 96,2% согласия с экспертами-людьми по критериям оценки.

Искусственный интеллект, технологии и рынки, на которых они двигаются, — в одном ежедневном брифинге.

Ежедневно. Бесплатно. Присоединяйтесь к более чем 34 000 читателей, посвященных криптовалютам, финансам и политике.

Мы уважаем вашу конфиденциальность. Отпишитесь в любое время.

Частный характер задач также имеет значение. Поскольку 200 задач не являются общедоступными, разработчики не могут заранее обучить свои модели ответам.

Первые результаты: качество против стоимости

Первая таблица лидеров уже содержит примечательные данные для Google. Gemini 4 Carbon (высокий) занял второе место по качеству на МКА.

Более привлекательная цифра – эффективность. Gemini 4 Carbon (высокий) выполнил задачи примерно в 6 раз дешевле, чем модель, занявшая первое место.

Стоит отметить очевидное. DeepMind стала соавтором этого теста, и ее собственная модель показала хорошие результаты по производительности с поправкой на стоимость. Это не делает результаты недействительными, но читатели должны взвесить их, принимая во внимание эту взаимосвязь.

Почему визуальное мышление — недостающая часть

Многие существующие тесты искусственного интеллекта полагаются только на текстовые задачи. MKA призван заполнить этот пробел, включив визуальные рассуждения в саму оценку.

Этот разрыв имеет значение, поскольку профессиональная работа редко представляет собой чистый текст. Архитекторы работают по чертежам, инженеры — по схемам, а врачи — по сканам.

Требуя как визуального понимания, так и четкого вывода, MKA тестирует полный цикл информационной работы: берется сложный материал, рассуждает о нем и возвращает полезный продукт.

Что это значит для разработчиков и покупателей ИИ

Для разработчиков моделей MKA повышает ставку на мультимодальные возможности. Это также учитывает качество дизайна. Разработчики больше не могут относиться к форматированию как к второстепенной задаче, если экспертные критерии наказывают за беспорядочные или запутанные результаты.

Двести задач в 10 секторах — это существенно для тщательно подобранного теста, но он по-прежнему охватывает часть профессиональной работы, и результаты в одной вертикали могут не быть точно перенесены в другую.

Согласие автора рейтинга с экспертами-людьми на 96,2% является сильным, однако оставшиеся разногласия могут касаться самых сложных или наиболее субъективных задач.

Искусственный анализ привлекает к проекту сторонний оценочный бренд, а DeepMind привносит в проект исследовательские возможности и прямой конкурентный интерес. От того, как отреагируют другие лаборатории, представят ли они модели и примут ли они методологию, будет зависеть, станет ли MKA отраслевым стандартом или останется одним из эталонов среди многих.

Раскрытие информации: эту статью отредактировал Диего Альмада Лопес. Дополнительную информацию о том, как мы создаем и просматриваем контент, можно найти в нашей редакционной политике.

Новости о том, что вы держите

Следите за своими акциями и криптовалютой. Читайте новости о них от сотен издателей в Pro.

Политика конфиденциальности