10 ноября, в тот же день, когда был выпущен Claude Fable 5.2, Ant Lingbo Technology открыла исходный код базовой тактильной модели LingBot-Touch. Общая большая модель цифрового мира и воплощенная базовая модель для физических операций с обратной связью стали доступны публике в один и тот же день.

Взаимосвязь между этими двумя техническими путями находится в центре текущих дискуссий в индустрии воплощенной разведки. По мнению Ант Лингбо, общая большая модель и воплощенная базовая модель ближе к синергетическим отношениям 1+1>2: первая улучшает понимание и рассуждение о задачах и средах, а вторая дополняет физическое восприятие и возможности работы с замкнутым контуром. Только когда они идут рука об руку, они могут совместно ускорить зрелость воплощенной отрасли.

LingBot-Touch с открытым исходным кодом основан на почти 5000 часах предварительного обучения реальным тактильным данным и охватывает три основных принципа восприятия: магнитно-тактильный, визуально-тактильный и пьезорезистивный. Он может преобразовывать разные сигналы в один и тот же набор тактильных представлений для использования разными ловкими руками и моделями действий, позволяя роботу «ясно видеть и ясно мыслить», одновременно дополняя тактильное восприятие, необходимое для точных операций.

Ранее универсальный мозг Муравья Лингбо обеспечивал высокоточное пространственное восприятие, высокодинамичное взаимодействие с окружающей средой и обобщаемые ловкие операции. На этот раз LingBot-Touch был подключен к LingBot-VLA, что расширило сенсорные возможности до «кончиков пальцев», что сделало робота «более чувствительным к прикосновению», а способность координации рук и глаз нативного универсального мозга была еще более улучшена.

26 реальных машинных испытаний, процент успеха миссии увеличился на 14–26 процентных пунктов.

По мере развития больших моделей общего назначения способность роботов понимать сложные задачи и обдумывать этапы работы возрастает. Но в реальном физическом мире каждый раз, когда робот выполняет действие, он должен чувствовать изменения в объектах и ​​окружающей среде, а затем корректировать следующее действие. Во многих деликатных операциях робот может четко видеть, где находится объект, и может протянуть руку в правильное положение, но может оказаться неспособным успешно выполнить задачу. После того, как палец коснется предмета, трудно судить, достаточна ли сила и скользит ли предмет. Трудно судить только по зрению, и для заполнения позиции требуется осязание.

Если взять в качестве примера умелое затягивание крышки бутылки вручную, информация о глубине может помочь пальцу выровнять крышку бутылки; после начала поворота крышка бутылки могла ослабнуть или кончик пальца скользил по стенке крышки. Обе ситуации на картинке похожи, но требуют разных корректировок движений. Контактное положение кончиков пальцев, величина силы и ее изменения часто заслоняются пальцами и предметами, что затрудняет зрение, но они являются важной основой для суждения о моделях действий.

Чтобы проверить эффективность тактильного представления в реальных операциях, Ант Лингбо провел 26 реальных машинных тестов на двух ловких руках, Sharpa Wave и XHand1, охватывая такие мелкие операции, как переворачивание страниц книги, скручивание крышек от бутылок и определение плиток для игры в маджонг. После доступа к LingBot-Touch средний показатель успешности выполнения задач четырех моделей действий LingBot-VLA, π0.5, Diffusion Policy и T-Rex увеличивается примерно на 14–26 процентных пунктов по сравнению с моделью без сенсорного управления. Если взять в качестве примера T-Rex для управления Sharpa Wave и закручивания крышек для бутылок, вероятность успеха задачи без использования тактильных ощущений составляет 56,25%, а исходный сигнал датчика вводится напрямую в 62,5%. После подключения к тактильному представлению LingBot-Touch вероятность успеха достигает 90%.

(Подпись: После доступа к LingBot-Touch показатели успеха четырех моделей действий на двух ловких руках достигли самого высокого уровня)

Унифицируйте тактильное представление и повторно используйте «ощущения» применительно к оборудованию, моделям и задачам.

Установка тактильного датчика на робота не означает, что он сможет эффективно использовать свое осязание. В настоящее время коммерческие тактильные датчики в целом все еще находятся на ранней стадии разработки. Основные направления, такие как опто-тактильный, магнитно-тактильный и пьезорезистивный, имеют свои сильные и слабые стороны. При различных сценариях затрат и использования несколько технических маршрутов могут сосуществовать в течение длительного времени. Еще более неприятно то, что данные, собранные этими датчиками, трудно напрямую обобщить: один и тот же контакт будет формировать разные исходные сигналы при разных принципах чувствительности и схемах контактов. Как только модель научится интерпретировать только один из них, после замены датчика или ловкой руки существующие данные и тактильный опыт может оказаться трудным для повторного использования, требуя повторного получения, обучения и адаптации.

Поэтому ключом к масштабному внедрению гаптики является освобождение тактильного понимания от зависимости от физических сигналов конкретных датчиков, чтобы данные из разных источников можно было совместно использовать для обучения, а накопленные тактильные возможности можно было повторно использовать между датчиками, ловкими руками, моделями и задачами.

Для этого LingBot-Touch настраивает входы кодирования по сенсорному принципу, сначала обрабатывает разные исходные сигналы, а затем отображает контакты разных раскладок в единое координатное пространство кончиков пальцев. Общая модель изучает положение контакта, силу и их изменения с течением времени и выводит единый тактильный токен. В результате данные, собранные людьми, носящими тактильные перчатки и ловкие руки с телеуправлением, могут использоваться для совместного обучения, а различные модели действий также могут напрямую вызывать обученные модели для извлечения особенностей контакта. Эта архитектура также оставляет место для расширения в будущем для доступа к новым тактильным датчикам.

(Подпись: LingBot-Touch кодирует магнитные тактильные, визуально-тактильные и пьезорезистивные тактильные сигналы в единый тактильный токен для использования различными моделями действий)

В XHand1 команда дополнительно проверила повторное использование тактильных возможностей на оборудовании: модель магнитного тактильного датчика, используемая XHand1, отсутствует в данных предварительного обучения, а все магнитные тактильные ощущения, полученные с помощью модели, получены на основе данных, собранных людьми в перчатках. После перехода на эту ловкую руку команда сохранила параметры LingBot-Touch без изменений и использовала только модель действий XHand для демонстрации работы для завершения миграции. В то же время в этом реальном машинном тесте LingBot-Touch подключается к четырем различным моделям действий и не привязан к модели, разработанной Ant Lingbo. Он обеспечивает универсальную возможность восприятия между тактильным датчиком и моделью действия, а не специальный модуль для определенного оборудования или определенной стратегии. Для отрасли производители датчиков и ловких рук могут выбирать оборудование в зависимости от стоимости и требований к поставленным задачам, а вся машинная группа также может сохранять свою собственную стратегию действий, тем самым сокращая повторные инвестиции в повторную разработку тактильных возможностей каждый раз при замене комбинации оборудования и алгоритма.

Чтобы принять во внимание как возможности восприятия, так и вычислительную мощность конечной стороны, Ant Lingbo предоставляет модели с двумя возможностями: все 26 реальных машинных тестов были выполнены с использованием облегченной версии LingBot-Touch-Tiny с примерно 5,3 миллионами параметров. После доступа к LingBot-VLA, π0.5 и T-Rex количество параметров модели увеличилось всего примерно на 0,13–0,16%; LingBot-Touch-Small с большей емкостью показывает потенциал для дальнейшего улучшения теста на восприятие - когда данные предварительной тренировки увеличиваются почти до 5000 часов, модель все еще может извлечь выгоду из новых данных, что указывает на то, что есть возможности для дальнейшего расширения и улучшения тактильной предварительной тренировки.

Придерживайтесь воплощенной нативности и продвигайтесь в координации с общими крупными моделями.

Fable 5.2 была представлена ​​в тот же день, что и LingBot-Touch, который в некоторой степени является микрокосмом эволюции нынешнего маршрута воплощенных интеллектуальных технологий. Что касается влияния ускоренной эволюции общих больших моделей на «мозговой» путь робота, Чжу Син, генеральный директор Ant Lingbo, сказал: «С Claude Fable 5.2 и GPT-6 Astra развитие большой языковой модели цифрового мира действительно сделало роботов более способными к решению сложных задач и физическим операциям. Мы очень обеспокоены этим и активно усваиваем это. Однако практика в отрасли говорит нам, что для того, чтобы по-настоящему прорваться через замкнутый цикл операций, необходимо Крепкий орешек обобщения физических операций все еще нельзя обойти, и он все еще зависит от прорыва самой воплощенной базовой модели».

По его мнению, общая большая модель и воплощенная базовая модель ближе к синергетическому взаимодействию 1+1>2: первая улучшает понимание и рассуждение о задачах и средах, а вторая улучшает физическое восприятие и возможности работы с обратной связью. Эти двое прорываются друг через друга и продвигают друг друга, совместно ускоряя зрелость воплощенной разведывательной индустрии.

«Качество модального ввода во многом определяет качество результата действия. Другими словами, без хорошего ввода не будет хорошего результата». Чжу Син сказал, что Ant Lingbo будет придерживаться воплощенного исходного маршрута, продолжит исследовать новые верхние пределы для обобщения физических операций, создаст универсальный мозг с перекрестной конфигурацией для роботоиндустрии, будет способствовать согласованию большего количества физических модальностей, таких как зрение, глубина, прикосновение и даже температура, в единой модели и продолжит открывать исходный код для сообщества, одновременно способствуя коммерциализации.

В настоящее время технические отчеты, модели и код LingBot-Touch имеют открытый исходный код, и разработчики могут получить к ним доступ и загрузить их на Hugging Face, GitHub и Magic Community.

Leifeng.com Leifeng.com (публичный аккаунт: Leifeng.com)

редактировать

Повторно отправить электронное письмо Изменить электронное письмо