For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the public content index is available at https://we0.ai/llms.txt, and the English article bundle is available at https://we0.ai/llms-full.txt.
For AI agents: the complete content index is available at https://we0.ai/llms.txt, the full English article bundle is available at https://we0.ai/llms-full.txt, and this page is available as Markdown at https://we0.ai/es/articles/dexmal-dm05-embodied-foundation-model.md.
DM0.5 es el último modelo fundacional incorporado de Dexmal, construido sobre datos a mayor escala, una arquitectura de 4 mil millones de pa...
La IA encarnada no carece de demostraciones sólidas, nuevo hardware robótico o talento investigador. El problema más difícil sigue siendo el mismo: ¿cómo construir un ciclo de datos que pueda seguir mejorando a los robots en tareas del mundo real?
Dexmal, conocido en chino como 原力灵机, presentó un nuevo modelo fundacional encarnado llamado DM0.5 en su evento para desarrolladores. El modelo está posicionado como un modelo fundacional de propósito general para la inteligencia encarnada en mundos abiertos. Su objetivo es conectar tres aspectos que a menudo permanecen separados en robótica: datos robóticos a gran escala, generalización de modelos e infraestructura de despliegue.
Según el informe original de QbitAI, DM0.5 se basa en 150.000 horas de datos, utiliza un modelo de 4B parámetros y está diseñado para soportar navegación, agarre, control corporal completo, memoria a largo plazo y despliegue entre diferentes cuerpos.
Dexmal describe DM0.5 con tres palabras clave: más grande, más fuerte y más práctico.
El modelo está posicionado como un modelo fundacional encarnado general para tareas en mundos abiertos. En comparación con el modelo DM0 anterior, DM0.5 duplica la escala de parámetros a 4B parámetros y aumenta el volumen de datos de entrenamiento en un 400%.
La base de datos de 150.000 horas se construye principalmente a partir de tres tipos de datos de alta calidad.
DM0.5 utiliza 50.000 horas de datos de operación robótica de alta precisión. Estos datos cubren más de 100 tipos de acciones y soportan una alineación detallada entre instrucciones y acciones a nivel de segundos.
Esta parte del conjunto de datos ayuda al modelo a aprender cómo se ejecutan realmente las acciones físicas en el mundo real, no solo cómo se describen en lenguaje.
El modelo también utiliza 100.000 horas de datos egocéntricos. Esto le proporciona al modelo una visión más humana del entorno y soporta la generación de puntos de referencia 3D de alta precisión a nivel milimétrico.
Los datos en primera persona son importantes porque los robots necesitan entender las escenas desde la perspectiva de un actor que se mueve por el mundo, no solo desde vistas de cámara estáticas.
Dexmal también utiliza datos de reconstrucción de escenas basados en 1 millón de metros cuadrados de datos espaciales. El objetivo es modelar entornos interiores complejos y reducir la brecha Sim2Real entre la simulación y el despliegue real.
Esto es importante para la inteligencia encarnada porque un robot que funciona bien en un simulador puede fallar cuando cambian la iluminación, la colocación de objetos, la fricción de superficies o el comportamiento humano en una escena real.
Más allá de la escala de datos, DM0.5 introduce tres mejoras importantes a nivel de arquitectura. Estas mejoras están diseñadas para ayudar a los robots a pasar de "recordar acciones" a "comprender tareas".
Muchas tareas robóticas del mundo real no son comandos cortos de un solo paso. Pueden durar varios minutos y requieren que el robot recuerde lo que sucedió antes.
DM0.5 añade compresión de contexto eficiente y soporta hasta 60 segundos de memoria nativa, con una capacidad de memoria promedio de aproximadamente 30 segundos. Esto permite al modelo
para preservar el contexto histórico útil y comprender mejor cómo ha cambiado el entorno durante una tarea más larga.
Para tareas de largo alcance, este tipo de memoria puede reducir el comportamiento fragmentado y ayudar al robot a mantener una secuencia de acciones más coherente.
DM0.5 sigue una dirección de estilo VLA, pero Dexmal añade más tareas orientadas al razonamiento, que incluyen planificación de tareas, localización de objetivos y predicción de estados futuros.
En términos sencillos, se anima al modelo a planificar antes de actuar. Cuando un comando es complejo, puede dividir el objetivo en pasos más pequeños, organizar el orden de las acciones y reducir el comportamiento de prueba y error.
Los comandos en lenguaje natural y los movimientos de las articulaciones del robot existen en espacios muy diferentes. Una persona puede decir una frase, pero el robot aún necesita traducir esa instrucción en movimientos de brazo, pinza o cuerpo a nivel de milímetros.
La capa de alineación de trayectorias ayuda al modelo a aprender el movimiento como un proceso alineado en lugar de un conjunto de puntos aislados. Esto hace que el modelo sea mejor para comprender el patrón de movimiento entre la intención y la ejecución.
En conjunto, estas mejoras respaldan la afirmación de Dexmal de que DM0.5 no solo está memorizando acciones, sino aprendiendo una representación más consciente de las tareas del mundo físico.
Bajo esta configuración de datos y arquitectura, DM0.5 muestra varias mejoras de rendimiento reportadas en evaluaciones con robots reales y en simulación.
Según el informe, DM0.5 supera a los modelos SOTA actuales en cuatro puntos de referencia públicos de robots reales y simulación. Un solo modelo puede admitir múltiples tipos de tareas, que incluyen navegación, agarre y control de cuerpo completo.
En comparación con DM0, se informa que DM0.5 mejora:
La latencia reportada también es baja para la implementación robótica:
Estos números importan porque la IA encarnada no solo debe ser precisa. También necesita responder lo suficientemente rápido para el control físico en tiempo real.
En el evento para desarrolladores, el cofundador y CEO de Dexmal, Tang Wenbin, argumentó que se están lanzando muchos modelos de IA encarnada, pero la verdadera pregunta es si realmente son útiles.
Dexmal utiliza dos estándares prácticos para definir un modelo base encarnado útil:
Para el post-entrenamiento, se reporta que DM0.5 reduce el costo de ajuste fino en un 60%. Una nueva tarea descendente puede ajustarse e implementarse con un rendimiento de nivel experto utilizando solo una GPU de consumo RTX 4090, en tan solo 18 horas.
El cambio más grande está en la generalización. Dexmal enfatiza que DM0.5 está diseñado para comprender las relaciones entre objetos, escenas, tareas, encarnaciones robóticas e instrucciones en lenguaje natural. La compañía dice
ya ha observado signos de generalización emergente en DM0.5.
La capacidad zero-shot mide lo que un robot puede hacer sin haber visto la tarea exacta durante el entrenamiento.
Dexmal probó DM0.5 en robots de brazo único Franka y Dexmal-Mint en ocho acciones atómicas principales:
Las pruebas también incluyeron casos más complejos de seguimiento de instrucciones que involucran color, forma, tamaño, estado, posición absoluta, posición relativa e instrucciones de secuencia larga.
En la evaluación reportada, DM0.5 igualó a PI 0.5 en una capacidad de movimiento de brazo único Franka, mientras superó a DM0 y PI 0.5 en los otros elementos probados.
La capacidad de fine-tuning muestra qué tan bien se adapta el modelo después de ingresar a un entorno de tarea real.
En el benchmark RoboChallenge Table30 V2, DM0.5 fue probado en 30 tareas complejas y cuatro plataformas robóticas heterogéneas. Reportadamente obtuvo 54.42 con una tasa de éxito del 43%, ocupando el primer lugar en esa evaluación.
El modelo también actualizó resultados en varios benchmarks reconocidos de agarre y navegación. En LIBERO, DM0.5 alcanzó un rendimiento general del 99.1%, incluyendo 94.1% en escenarios Clean y 94.4% en escenarios Random.
El detalle práctico importante es el costo: Dexmal dice que una nueva tarea downstream se puede ajustar en 18 horas en una sola RTX 4090, mientras que la inferencia puede ejecutarse a 90 ms en la misma clase de GPU.
DM0.5 soporta hasta 60 segundos de memoria nativa de largo horizonte. Dexmal señala que muchos modelos encarnados actuales suelen mantenerse por debajo de 10 segundos de memoria.
Una memoria más larga permite a los robots manejar tareas de múltiples pasos donde el entorno cambia con el tiempo. Por ejemplo, en una tarea de almacenamiento desordenado u organización del hogar, el robot necesita recordar lo que ya ha movido, lo que queda y cómo ha cambiado la escena.
DM0.5 también soporta video prompting. Con capacidad de memoria larga, el modelo puede entender un video corto de demostración humana y alinear su comportamiento con la tarea demostrada, reduciendo la dependencia de instrucciones solo de lenguaje.
DM0.5 utiliza un diseño de sistema dual:
Describe tu idea una vez y We0 AI puede generar un sitio de presentacion, paginas y CMS, y ayudarte a atraer clientes y trafico tras el lanzamiento.
Una generación completa de proyectos para registro gratuito
Lo mejor para probar un flujo de generación completo y ver rápidamente el primer borrador del proyecto.
El modelo está fortalecido contra dos perturbaciones comunes de cola larga en escenarios encarnados:
Esto es importante porque la implementación en el mundo real rara vez se parece a una demostración limpia de laboratorio. Las personas se mueven, las cámaras cambian y los objetos no siempre están donde el robot espera que estén.
DM0.5 está entrenado con integración multi-robot y multi-tarea, por lo que está diseñado para transferencia entre plataformas.
Dexmal dice que el modelo puede adaptarse a varios tipos de robots principales y heterogéneos, incluyendo humanoides bípedos, robots con ruedas, manipuladores de dos brazos y un brazo, y manos diestras.
manos.
El artículo enumera ejemplos como Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin y Realman. Dexmal también afirma que el modelo se puede implementar rápidamente en nuevos cuerpos robóticos desconocidos con una adaptación ligera.
El punto más amplio es que la generalización debería alejar a los robots de entornos fijos y guiones de acción fijos. Un modelo más general puede manejar nuevos objetos, nuevas escenas, nuevas instrucciones y nuevos cuerpos robóticos con menos trabajo personalizado.
Un modelo fundacional robusto para la interacción física es solo el primer paso. Para que la IA incorporada funcione en la industria, el modelo aún necesita herramientas, sistemas de implementación, retroalimentación de datos e infraestructura de operación en el mundo real.
Dexmal utiliza una idea de "cohete de tres etapas" para describir esta pila:
Estas capas están diseñadas para hacer que el modelo sea más barato de invocar, más fácil de implementar en diferentes hardware y más estable en entornos de tareas del mundo real.
DexDev es la plataforma de desarrollador de Dexmal para reducir la complejidad de aplicar modelos de IA incorporada.
En el campo actual de la IA incorporada, los modelos, el hardware, las tareas, los conjuntos de datos y los entornos de implementación a menudo están fragmentados. Los desarrolladores pueden necesitar comprender algoritmos, control robótico, adaptación de hardware e iteración de escenarios al mismo tiempo.
DexDev se construye en torno a tres módulos.
DFOL2.0 es un marco de aprendizaje por refuerzo incorporado y bucle de datos impulsado por el modelo del mundo general de Dexmal, DW0.5.
Su función es ayudar al modelo a seguir mejorando. En lugar de depender únicamente del costoso método de prueba y error con robots reales, DFOL2.0 utiliza entornos físicos virtuales de alta fidelidad para un entrenamiento de políticas en bucle cerrado de menor costo y riesgo.
También envía datos de tareas y fallos del mundo real de vuelta a la nube, ayudando al modelo fundacional a evolucionar continuamente.
Según Dexmal, DFOL2.0 puede reducir la demanda de datos de entrenamiento con robots reales en un 60% y el costo de entrenamiento en un 40%.
DexOS define una interfaz ECP (Protocolo de Control Incorporado) estandarizada.
El objetivo es ocultar las diferencias entre el hardware robótico heterogéneo. En lugar de resolver un difícil problema de adaptación "N × M" entre muchos modelos y muchos cuerpos robóticos, DexOS intenta simplificar la implementación en un problema de conexión unificada "N + 1".
Esto pretende ayudar a que los modelos de la serie DM se ejecuten en diferentes hardware con menor costo, menor latencia y un control más estable.
Dexmal también presentó un servicio MaaS incorporado para la familia de modelos DM.
La idea es empaquetar las capacidades del modelo fundacional como un servicio. Los desarrolladores no necesitan entrenar modelos desde cero ni manejar ellos mismos cada detalle de adaptación de hardware. Pueden invocar las capacidades del modelo de manera más directa para la implementación y actualización de robots.
En la pila de Dexmal, DFOL2.0 ayuda a mejorar el modelo, DexOS conecta el software y el hardware, y MaaS facilita el uso del modelo a escala.
Ferrata: Un Sistema Híbrido de Operación Multi-Agente
Una vez que las capacidades de un solo robot se puedan invocar a través de MaaS, el siguiente desafío es la colaboración multi-robot.
Dexmal presentó Ferrata, un sistema híbrido de operación multi-agente diseñado para escenarios del mundo real. Su objetivo es gestionar la planificación a nivel del sistema a través de múltiples objetivos, modelos, formas robóticas y límites de seguridad.
Ferrata está construido sobre la familia de modelos DM y Realtime-VLA. No está limitado a un robot específico. En cambio, coordina tareas, modelos, tipos de hardware y mecanismos de seguridad a nivel de sistema.
A través de la jerarquía de tareas, el manejo de excepciones, la intervención humana y la retroalimentación de datos, Ferrata busca mantener los robots operando de forma continua en entornos reales.
Desde DM0.5 hasta DexDev y Ferrata, Dexmal está tratando de construir una ruta de infraestructura completa que vaya desde la capacidad del modelo hasta la productividad real.
La primera capa es el modelo general. La segunda capa es la infraestructura de plataforma para entrenamiento, MaaS y sistemas operativos. La tercera capa es un sistema de operación a nivel de escenario que ayuda a la IA incorporada a pasar de demostraciones de laboratorio a entornos de producción.
DM0.5 es un modelo fundacional incorporado presentado por Dexmal, también conocido como 原力灵机. Está posicionado como un modelo general de 4B parámetros para tareas robóticas en mundo abierto como navegación, agarre, control corporal completo y seguimiento de instrucciones.
Según el informe original, DM0.5 se construye con 150.000 horas de datos. Esto incluye 50.000 horas de datos de operación real de robots, 100.000 horas de datos egocéntricos en primera persona y datos de reconstrucción de escenas a gran escala que cubren 1 millón de metros cuadrados.
DM0.5 duplica la escala de parámetros del modelo a 4B y aumenta el volumen de datos en un 400% en comparación con DM0. También añade memoria de largo plazo, tareas de razonamiento incorporado y alineación de trayectorias para mejorar la comprensión y generalización de tareas.
El informe dice que DM0.5 puede completar un ajuste fino a nivel de experto para una nueva tarea downstream en una RTX 4090 en tan solo 18 horas. También reporta una latencia de inferencia de 90 ms en RTX 4090 y 50 ms en H100.
DexDev es la plataforma de desarrolladores de Dexmal para aplicaciones de IA incorporada. Incluye DFOL2.0 para aprendizaje por refuerzo y bucles de datos, DexOS para control multi-hardware, y MaaS para un acceso más fácil a las capacidades del modelo.
Ferrata es un sistema híbrido de operación multi-agente para escenarios robóticos del mundo real. Coordina tareas, hardware robótico, modelos, límites de seguridad, manejo de excepciones, intervención humana y retroalimentación de datos.
El artículo se centra en el lanzamiento de DM0.5 y las capacidades reportadas, pero no indica claramente que DM0.5 en sí mismo sea de código abierto. Dexmal sí mantiene el toolbox de código abierto Dexbotic VLA, y la documentación relacionada con DM0 está disponible a través del repositorio de GitHub de Dexbotic.
Los robots a menudo necesitan completar tareas de múltiples pasos donde la escena cambia con el tiempo. Una memoria más larga ayuda a un modelo a rastrear acciones anteriores, el estado actual de la tarea y los cambios ambientales, lo que
es menos probable que el robot pierda el contexto durante tareas largas.
DM0.5 es el último modelo fundacional encarnado de Dexmal, construido alrededor de datos a mayor escala, una arquitectura de 4 mil millones de parámetros, memoria más larga, razonamiento encarnado y alineación de trayectorias. Su objetivo principal es mejorar la generalización del robot en tareas, entornos y encarnaciones.
El artículo también muestra por qué el modelo por sí solo no es suficiente. La plataforma DexDev de Dexmal, DFOL2.0, DexOS, MaaS y el sistema Ferrata están diseñados para convertir la capacidad del modelo en una infraestructura desplegable.
La conclusión clave: DM0.5 no es solo una actualización de modelo; es el intento de Dexmal de conectar el entrenamiento de IA encarnada, el despliegue y las operaciones de robots en el mundo real en una sola pila.
Empieza con una sola frase y obtén un sitio completo en minutos.
