For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/ru/articles/dexmal-dm05-embodied-foundation-model.md.
DM0.5 — это новейшая воплощенная фундаментальная модель Dexmal, построенная на основе масштабных данных, архитектуры с 4 миллиардами парамет...
В области воплощённого ИИ нет недостатка в сильных демонстрациях, новом робототехническом оборудовании или исследовательских талантах. Однако более сложная проблема остаётся прежней: как создать цикл данных, способный постоянно улучшать роботов в реальных задачах?
Компания Dexmal, известная в Китае как 原力灵机, представила на своём мероприятии для разработчиков новую фундаментальную модель воплощённого интеллекта под названием DM0.5. Модель позиционируется как универсальная фундаментальная модель для воплощённого интеллекта в открытом мире. Она предназначена для объединения трёх аспектов, которые часто остаются разрозненными в робототехнике: крупномасштабные данные роботов, обобщение модели и инфраструктура развёртывания.
Согласно оригинальному отчёту QbitAI, DM0.5 построена на 150 000 часов данных, использует модель с 4 миллиардами параметров и предназначена для поддержки навигации, захвата, управления всем телом, долгосрочной памяти и кроссплатформенного развёртывания.
Компания Dexmal описывает DM0.5 тремя ключевыми словами: больше, сильнее и практичнее.
Модель позиционируется как общая фундаментальная модель воплощённого интеллекта для задач в открытом мире. По сравнению с предыдущей моделью DM0, DM0.5 удваивает масштаб параметров до 4 миллиардов и увеличивает объём обучающих данных на 400%.
Основа из 150 000 часов данных в основном построена из трёх типов высококачественных данных.
DM0.5 использует 50 000 часов высокоточных данных работы роботов. Эти данные охватывают более 100 типов действий и поддерживают точное согласование инструкций и действий на уровне секунд.
Эта часть набора данных помогает модели изучать, как физические действия фактически выполняются в реальном мире, а не только то, как они описаны в языке.
Модель также использует 100 000 часов эгоцентрических данных. Это даёт модели более человеческий взгляд на окружающую среду и поддерживает создание высокоточных 3D-ориентиров на миллиметровом уровне.
Данные от первого лица важны, потому что роботам необходимо понимать сцены с точки зрения действующего лица, перемещающегося по миру, а не только с позиции статической камеры.
Dexmal также использует данные реконструкции сцен на основе 1 миллиона квадратных метров пространственных данных. Цель — моделировать сложные внутренние среды и сократить разрыв между симуляцией и реальным развёртыванием.
Это важно для воплощённого интеллекта, поскольку робот, хорошо работающий в симуляторе, может давать сбои при изменении освещения, расположения объектов, трения поверхностей или поведения человека в реальной сцене.
Помимо масштаба данных, DM0.5 представляет три основных архитектурных улучшения. Эти улучшения призваны помочь роботам перейти от «запоминания действий» к «пониманию задач».
Многие реальные задачи робототехники не являются короткими одношаговыми командами. Они могут длиться несколько минут и требовать от робота запоминания того, что произошло ранее.
DM0.5 добавляет эффективное сжатие контекста и поддерживает до 60 секунд встроенной памяти, со средней ёмкостью памяти около 30 секунд. Это позволяет модели
Чтобы сохранить полезный исторический контекст и лучше понять, как изменилась окружающая среда в ходе более длительной задачи.
Для долгосрочных задач такая память может уменьшить фрагментированное поведение и помочь роботу поддерживать более согласованную последовательность действий.
DM0.5 по-прежнему следует направлению VLA, но Dexmal добавляет больше задач, ориентированных на рассуждение, включая планирование задач, локализацию целей и прогнозирование будущих состояний.
Проще говоря, модель поощряется к планированию перед действием. Когда команда сложна, она может разбить цель на более мелкие шаги, организовать порядок действий и сократить поведение методом проб и ошибок.
Команды на естественном языке и движения суставов робота находятся в совершенно разных пространствах. Человек может сказать одну фразу, но роботу всё равно нужно перевести эту инструкцию в движения руки, захвата или корпуса с точностью до миллиметра.
Уровень согласования траекторий помогает модели изучать движение как согласованный процесс, а не как набор изолированных точек. Это позволяет модели лучше понимать схему движения между намерением и выполнением.
В совокупности эти улучшения подтверждают заявление Dexmal о том, что DM0.5 не просто запоминает действия, а изучает более осведомлённое о задачах представление физического мира.
При такой настройке данных и архитектуры DM0.5 демонстрирует несколько заявленных улучшений производительности в оценках на реальных роботах и в симуляции.
Согласно отчёту, DM0.5 превосходит современные модели SOTA по четырём публичным бенчмаркам на реальных роботах и в симуляции. Одна модель может поддерживать несколько типов задач, включая навигацию, захват и управление всем телом.
По сравнению с DM0, DM0.5, как сообщается, улучшает:
Заявленная задержка также низка для развёртывания в робототехнике:
Эти цифры важны, потому что воплощённый ИИ не может быть только точным. Он также должен реагировать достаточно быстро для управления в реальном времени.
На мероприятии для разработчиков сооснователь и генеральный директор Dexmal Тан Вэньбинь заявил, что многие воплощённые модели ИИ выпускаются, но реальный вопрос в том, действительно ли они полезны.
Dexmal использует два практических стандарта для определения полезной воплощённой фундаментальной модели:
Для пост-обучения DM0.5, как сообщается, снижает стоимость донастройки на 60%. Новую downstream-задачу можно донастроить и развернуть до уровня экспертной производительности всего с одной потребительской видеокартой RTX 4090 всего за 18 часов.
Более значительное изменение заключается в обобщении. Dexmal подчёркивает, что DM0.5 разработана для понимания взаимосвязей между объектами, сценами, задачами, воплощениями роботов и инструкциями на естественном языке. Компания заявляет, что
Уже замечены признаки возникновения генерализации в DM0.5.
Zero-shot измеряет, что робот может сделать, не видя точной задачи во время обучения.
Dexmal протестировала DM0.5 на одноруких роботах Franka и Dexmal-Mint в восьми базовых действиях:
Тесты также включали более сложные случаи следования инструкциям, связанные с цветом, формой, размером, состоянием, абсолютным положением, относительным положением и длинными последовательностями инструкций.
В опубликованной оценке DM0.5 сравнялась с PI 0.5 по одному движению руки Franka, превзойдя DM0 и PI 0.5 по остальным тестируемым пунктам.
Тонкая настройка показывает, насколько хорошо модель адаптируется после попадания в реальную среду задачи.
На реальном роботизированном эталоне RoboChallenge Table30 V2 DM0.5 была протестирована на 30 сложных задачах и четырёх гетерогенных роботизированных реализациях. Сообщается, что она набрала 54,42 с 43% успешности, заняв первое место в этой оценке.
Модель также обновила результаты на нескольких известных эталонах захвата и навигации. В LIBERO DM0.5 якобы достигла 99,1% общей производительности, включая 94,1% в чистых сценариях и 94,4% в случайных сценариях.
Важная практическая деталь — стоимость: Dexmal утверждает, что новую downstream-задачу можно донастроить за 18 часов на одном RTX 4090, а инференс выполняется за 90 мс на GPU того же класса.
DM0.5 поддерживает до 60 секунд нативной долгосрочной памяти. Dexmal отмечает, что многие современные встраиваемые модели обычно имеют память менее 10 секунд.
Более длинная память позволяет роботам выполнять многошаговые задачи, где среда меняется со временем. Например, в захламлённом хранилище или задаче по организации дома роботу нужно помнить, что он уже переместил, что осталось и как изменилась сцена.
DM0.5 также поддерживает видеоподсказки. Благодаря долгосрочной памяти модель может понимать короткое демонстрационное видео человека и согласовывать своё поведение с показанной задачей, снижая зависимость от инструкций только на языке.
DM0.5 использует двухсистемный дизайн:
Опишите идею одной фразой, и We0 AI создаст сайт-витрину, страницы и CMS, а после запуска поможет привлечь клиентов и трафик.
Одна полная генерация проекта для бесплатной регистрации
Лучше всего попробовать один полный поток генерации и быстро увидеть первый черновик проекта.
Модель усилена против двух распространённых длиннохвостых помех во встраиваемых сценариях:
Это важно, потому что реальное развертывание редко выглядит как чистая лабораторная демонстрация. Люди двигаются, камеры смещаются, и объекты не всегда находятся там, где робот их ожидает.
DM0.5 обучена с интеграцией нескольких роботов и задач, поэтому она предназначена для кроссплатформенного переноса.
Dexmal утверждает, что модель может адаптироваться к нескольким основным и гетерогенным типам роботов, включая двуногих гуманоидов, колёсных роботов, двухрукие и однорукие манипуляторы и ловкие руки.
руки.
В статье перечислены примеры: Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin и Realman. Dexmal также утверждает, что модель можно быстро развернуть на новых, неизвестных воплощениях роботов с лёгкой адаптацией.
Общая идея заключается в том, что обобщение должно вывести роботов за рамки фиксированных сред и сценариев действий. Более обобщённая модель может обрабатывать новые объекты, новые сцены, новые инструкции и новые корпуса роботов с меньшим количеством доработок.
Сильная базовая модель воплощённого интеллекта — лишь первый шаг. Чтобы воплощённый ИИ работал в промышленности, модели всё ещё необходимы инструменты, системы развёртывания, обратная связь по данным и инфраструктура для реальных операций.
Dexmal использует концепцию «трёхступенчатой ракеты» для описания этого стека:
Эти уровни призваны сделать модель дешевле в вызове, проще в развёртывании на различном оборудовании и стабильнее в реальных рабочих средах.
DexDev — это платформа разработчика от Dexmal, предназначенная для снижения сложности применения моделей воплощённого ИИ.
В текущей области воплощённого ИИ модели, оборудование, задачи, наборы данных и среды развёртывания часто фрагментированы. Разработчикам может потребоваться одновременно понимать алгоритмы, управление роботами, адаптацию оборудования и итерации сценариев.
DexDev построен на трёх модулях.
DFOL2.0 — это фреймворк воплощённого обучения с подкреплением и цикла сбора данных, управляемый общей мировой моделью Dexmal, DW0.5.
Его роль — помогать модели постоянно совершенствоваться. Вместо того чтобы полагаться только на дорогостоящие методы проб и ошибок с реальными роботами, DFOL2.0 использует высокоточные виртуальные физические среды для более дешёвого и менее рискованного замкнутого обучения политикам.
Он также передаёт данные о реальных задачах и сбоях в облако, помогая базовой модели продолжать развиваться.
По данным Dexmal, DFOL2.0 может снизить потребность в данных для обучения на реальных роботах на 60%, а стоимость обучения — на 40%.
DexOS определяет стандартизированный интерфейс ECP (Embodied Control Protocol).
Цель — скрыть различия между разнородным оборудованием роботов. Вместо решения сложной проблемы адаптации «N × M» между множеством моделей и множеством корпусов роботов, DexOS пытается упростить развёртывание до унифицированной задачи подключения «N + 1».
Это призвано помочь моделям серии DM работать на различном оборудовании с более низкой стоимостью, меньшей задержкой и более стабильным управлением.
Dexmal также представил сервис MaaS для семейства моделей DM.
Идея заключается в упаковке возможностей базовой модели как услуги. Разработчикам не нужно обучать модели с нуля или самостоятельно решать все детали адаптации оборудования. Они могут более напрямую вызывать возможности модели для развёртывания и обновления роботов.
В стеке Dexmal DFOL2.0 помогает модели улучшаться, DexOS соединяет программное и аппаратное обеспечение, а MaaS делает модель проще в масштабном использовании.
Ferrata: Мультиагентная гибридная операционная система
Когда возможность вызова функций отдельного робота через MaaS становится реальностью, следующей задачей становится мультироботная коллаборация.
Dexmal представила Ferrata — мультиагентную гибридную операционную систему, предназначенную для реальных сценариев. Она призвана выполнять системное планирование в рамках множества целей, моделей, форм роботов и границ безопасности.
Ferrata построена на основе семейства моделей DM и Realtime-VLA. Она не привязана к конкретному роботу. Вместо этого она координирует задачи, модели, типы оборудования и механизмы безопасности на системном уровне.
Благодаря иерархии задач, обработке исключений, вмешательству человека и обратной связи по данным, Ferrata нацелена на обеспечение непрерывной работы роботов в реальных условиях.
От DM0.5 до DexDev и Ferrata, Dexmal стремится построить полноценную инфраструктурную цепочку — от возможностей модели к реальной производительности.
Первый уровень — это универсальная модель. Второй уровень — платформенная инфраструктура для обучения, MaaS и операционных систем. Третий уровень — это операционная система для сценариев, помогающая воплощенному ИИ перейти от лабораторных демонстраций к производственным условиям.
DM0.5 — это фундаментальная модель воплощенного ИИ, представленная Dexmal, также известная как 原力灵机. Она позиционируется как универсальная модель с 4 миллиардами параметров для выполнения задач роботов в открытом мире, таких как навигация, захват объектов, управление всем телом и следование инструкциям.
Согласно оригинальному отчету, DM0.5 построена на 150 000 часах данных. Это включает 50 000 часов реальных данных эксплуатации роботов, 100 000 часов эгоцентрических данных от первого лица, а также данные реконструкции сцен большого масштаба, охватывающие 1 миллион квадратных метров.
По сравнению с DM0, DM0.5 удваивает масштаб параметров модели до 4 миллиардов и увеличивает объем данных на 400%. Она также добавляет долгосрочную память, задачи воплощенного мышления и выравнивание траекторий для улучшения понимания задач и обобщения.
Отчет утверждает, что DM0.5 может выполнить специализированную настройку уровня эксперта для новой целевой задачи на одной RTX 4090 всего за 18 часов. Также сообщается о задержке вывода в 90 мс на RTX 4090 и 50 мс на H100.
DexDev — это платформа разработчика Dexmal для приложений воплощенного ИИ. Она включает DFOL2.0 для обучения с подкреплением и циклов данных, DexOS для кросс-аппаратного управления, а также MaaS для упрощенного доступа к возможностям модели.
Ferrata — это мультиагентная гибридная операционная система для реальных сценариев с роботами. Она координирует задачи, аппаратное обеспечение роботов, модели, границы безопасности, обработку исключений, вмешательство человека и обратную связь по данным.
Статья фокусируется на выпуске и заявленных возможностях DM0.5, но четко не указывает, что сама DM0.5 имеет открытый исходный код. Dexmal поддерживает открытый набор инструментов Dexbotic VLA, и документация, связанная с DM0, доступна в репозитории Dexbotic на GitHub.
Роботам часто необходимо выполнять многоэтапные задачи, в которых сцена со временем меняется. Более длинная память помогает модели отслеживать предыдущие действия, текущее состояние задачи и изменения в окружающей среде, что делает робота более эффективным в сложных, продолжительных сценариях.
снижает вероятность потери контекста роботом во время длительных задач.
DM0.5 — это новейшая воплощённая фундаментальная модель Dexmal, построенная на более масштабных данных, архитектуре с 4 миллиардами параметров, более длинной памяти, воплощённом рассуждении и выравнивании траекторий. Её основная цель — улучшить обобщение роботов в различных задачах, средах и воплощениях.
Статья также показывает, почему одной модели недостаточно. Платформа DexDev, DFOL2.0, DexOS, MaaS и система Ferrata от Dexmal предназначены для превращения возможностей модели в развёртываемую инфраструктуру.
Ключевой вывод: DM0.5 — это не просто обновление модели; это попытка Dexmal объединить обучение воплощённому ИИ, развёртывание и реальные операции роботов в единый стек.
Начните с одной фразы и получите полноценный сайт за считанные минуты.
