MiniCPM-V 4.7: MoE de 35B en iPhone, LES y despliegue local

MiniCPM-V 4.7 lleva un modelo de mezcla de expertos de 35 mil millones de parámetros a dispositivos locales, incluidos teléfonos. ModelBest y OpenBMB informan más de 13 tokens generados por segundo con alrededor de 3 GB de memoria en un iPhone 17 Pro Max, mediante una pila de despliegue optimizada.

La cifra necesita contexto. No significa que el modelo completo de 35B quepa en una descarga de 3 GB, ni que cualquier teléfono con 3 GB de RAM pueda ejecutarlo a la velocidad anunciada. El modelo transmite los pesos de los expertos desde el almacenamiento y utiliza programación, cuantización y optimizaciones de inferencia para mantener pequeño el conjunto de trabajo activo.

Dos modelos para distintos presupuestos de dispositivo

La versión cuenta con dos variantes principales:

El modelo 35B-A3B es el primer MoE de la serie MiniCPM-V. El proyecto anunció la versión 4.7 el 12 de octubre de 2026, seguido de cabezales de decodificación especulativa DSpark para ambas variantes el 15 de octubre.

El repositorio indica compatibilidad de despliegue para iOS, Android y HarmonyOS. También describe soporte en plataformas Intel, AMD, Arm, Rockchip y Houmo. El rendimiento real depende del dispositivo, el formato del modelo, el backend de inferencia y la configuración, por lo que la compatibilidad de plataforma no debe interpretarse como velocidad idéntica en todo el hardware.

Qué muestran los benchmarks publicados

La tabla de evaluación oficial de 35B-A3B informa los siguientes resultados en modo Instruct:

Fuente: OpenBMB, repositorio MiniCPM-V. Su tabla combina informes públicos con las evaluaciones locales del equipo mediante checkpoints oficiales en modo Instruct.

La tabla muestra descensos relativamente pequeños en varias tareas al pasar a una compresión visual más fuerte. MMBench cae 0,85 puntos, por ejemplo, mientras que OCRBench baja 0,80. Otras tareas pierden más, por lo que los desarrolladores aún deben comprobar si el texto pequeño, los gráficos o el detalle visual son importantes para su propia carga de trabajo.

Estos son resultados de evaluación del modelo, no una prueba de que la configuración móvil reproduzca todas las puntuaciones ni de que cada imagen de usuario se interprete correctamente. Son puntos de referencia útiles para decidir qué probar.

Cómo se ejecuta localmente el modelo de 35B

MoE reduce el cómputo al activar solo expertos seleccionados para un token. No elimina la necesidad de almacenar los demás expertos, ya que tokens y capas posteriores pueden elegir otros distintos.

En un teléfono con memoria limitada, almacenar esos pesos en memoria flash hace que el modelo esté disponible, pero esperar repetidamente al almacenamiento puede ralentizar la decodificación. Restringir el enrutamiento a un subconjunto fijo de expertos reduce las cargas, pero cambia qué expertos puede utilizar el modelo. En cambio, MiniCPM-V 4.7 intenta solapar la carga con el cómputo mientras conserva las decisiones reales del enrutador.

Programación anticipada de expertos

Lookahead Expert Scheduling, o LES, predice qué expertos probablemente necesitará la siguiente capa y precarga sus pesos. Cuando el enrutador real selecciona expertos, el motor primero calcula los expertos seleccionados que ya están disponibles mientras carga los restantes necesarios.

La predicción cambia el orden de preparación y ejecución. No sustituye la decisión de enrutamiento del modelo: los expertos que no hayan sido previstos se cargan y evalúan igualmente. Esta distinción explica por qué la técnica puede mejorar la velocidad sin depender de un conjunto de expertos reducido permanentemente.

La guía oficial combina LES con cuantización detallada por capas. Los pesos de expertos más pequeños reducen el tráfico entre el almacenamiento y la memoria, mientras que un diseño optimizado hace más eficiente la carga. El equipo informa una mejora de decodificación de cinco veces en dispositivos reales gracias a su trabajo de optimización en el dispositivo; es un resultado de su configuración probada, no un multiplicador universal.

Decodificación especulativa y compresión visual

DSpark añade un modelo borrador que propone tokens para que el modelo principal los verifique. La versión proporciona cabezales de borrador específicos para ambos tamaños. Este es otro componente de la pila optimizada, por lo que no debe asumirse que un checkpoint estándar que se ejecute en un backend genérico logrará la misma velocidad.

En el lado visual, el modelo utiliza compresión temprana dentro del codificador de visión, basada en LLaVA-UHD v4. La fusión temprana de tokens visuales reduce el trabajo en las capas posteriores del codificador. Las configuraciones seleccionables de 4× y 16× exponen un equilibrio entre detalle visual y coste de inferencia.

El requisito de almacenamiento detrás de los “3 GB”

La documentación oficial de la aplicación móvil ofrece una imagen mucho más clara del despliegue completo:

El paquete móvil dividido difiere de un GGUF estándar de modelo completo. Su archivo principal -les depende del directorio de expertos correspondiente, y la aplicación comprueba que los archivos sean coherentes. Las ventanas de contexto más grandes incrementan la memoria de caché KV, mientras que una caché de expertos más pequeña en dispositivos con menos RAM puede ralentizar considerablemente la generación.

Una cifra pequeña de memoria de trabajo no elimina la necesidad de un almacenamiento local rápido y sustancial.

Qué hacen realmente las demostraciones

El artículo de QbitAI muestra ejemplos locales en teléfonos y tabletas, y después pruebas de API independientes. Mantener esta distinción es importante: un resultado de API no demuestra que la misma tarea se ejecutara sin conexión en el teléfono.

Lectura sin conexión de un gráfico histórico

En la demostración inicial en iPhone, el modelo examina el gráfico de Minard sobre la campaña rusa de Napoleón. Al preguntársele por la temperatura más baja y su fecha, identifica −30° Réaumur el 6 de diciembre de 1812 y lo convierte a −37,5 °C mediante °C = °Ré × 1.25.

Fuente: QbitAI vía BAAI; grabación animada de pantalla de teléfono. La fuente también informa de la misma respuesta en un iPad M4.

Este ejemplo prueba más que el reconocimiento de texto. El modelo debe leer el gráfico, asociar una fecha con el punto relevante, reconocer la escala de temperatura y aplicar una conversión.

Comprobación de estimaciones de electricidad doméstica

Otro ejemplo combina las potencias y tiempos de uso de electrodomésticos con una factura mensual de 420 kWh por ¥126. La salida mostrada estima 213,63 kWh para los electrodomésticos enumerados, o alrededor del 50,9 % de la factura, e identifica la reducción del uso del aire acondicionado como el mejor de los tres planes de ahorro propuestos.

Fuente: QbitAI vía BAAI. La respuesta mostrada trata el consumo no explicado como incierto en lugar de asignarlo automáticamente a otros electrodomésticos.

Esta precisión es útil: las horas estimadas, el consumo de potencia real y los dispositivos omitidos pueden afectar a una comparación con la factura. Un total aritmético correcto por sí solo no establece por qué se produjo el consumo restante.

Conversión de una imagen de artículo académico a Markdown

Se muestra que el modelo más pequeño convierte una página de un artículo académico en Markdown, incluidos encabezados, una tabla y notación matemática. QbitAI informa que la demostración tardó menos de medio minuto.

Fuente: QbitAI vía BAAI; demostración animada de documento local.

En sus pruebas de API independientes, el artículo informa de un cálculo de recibo de ¥86,40 menos ¥8 en descuentos, coincidente con un pago de ¥78,40. También describe una tarea de normas de estacionamiento que comprueba una estancia de 90 minutos frente a restricciones de limpieza, un límite de dos horas, exenciones para residentes y condiciones de reingreso. Se trata de pruebas ilustrativas, no de un estudio sistemático de precisión.

Personalización con ajuste fino Self-Replay

Una versión relacionada aborda el olvido durante la personalización. Self-Replay Fine-Tuning genera respuestas de dominio general a partir del modelo original, las filtra por calidad y mezcla los ejemplos conservados con los nuevos datos de tarea durante el ajuste fino supervisado estándar.

El método modifica los datos de entrenamiento en lugar de la arquitectura del modelo o la función de pérdida. Los ejemplos de repetición pueden generarse antes del entrenamiento y reutilizarse, lo que reduce la necesidad de nuevas ejecuciones en línea durante cada sesión.

La publicación de OpenBMB informa resultados alentadores de retención en experimentos de conteo y OCR de documentos, incluidas pruebas en modelos MiniCPM anteriores y otras familias de modelos. Esos resultados no deben presentarse como una garantía general para cada ajuste fino de la versión 4.7. La cobertura de prompts, la calidad del filtrado y la proporción entre tarea y repetición siguen siendo elecciones experimentales.

Despliegue local y ecosistema del modelo

El repositorio de aplicaciones móviles proporciona demostraciones para iOS, Android y HarmonyOS. Para la ruta MoE en teléfonos, el gestor de modelos integrado en la aplicación descarga el archivo principal correspondiente, el proyector visual y los fragmentos de expertos; el repositorio advierte que los archivos GGUF de escritorio ordinarios y no divididos no son intercambiables con este paquete móvil.

Para otros despliegues, la guía 4.7 enumera SGLang, vLLM, llama.cpp y Ollama, además de SWIFT y LLaMA-Factory para ajuste fino. Incluye enlaces a opciones de cuantización como GGUF, BNB, AWQ, GPTQ y FP8. Elija el artefacto para el entorno de ejecución previsto, en lugar de tratar cada formato compatible como un modelo móvil intercambiable.

La inferencia sin conexión comienza una vez que la aplicación y los archivos del modelo necesarios están presentes localmente. Esto elimina la necesidad de enviar cada solicitud de inferencia a un modelo en la nube, aunque los permisos de la aplicación, el manejo local de datos, el almacenamiento y el rendimiento del hardware siguen siendo consideraciones prácticas de despliegue.

Preguntas frecuentes

¿Qué es MiniCPM-V 4.7?

Es una versión de modelo multimodal de ModelBest y OpenBMB con variantes MoE 35B-A3B y pequeñas de 1B. Admite tareas que implican imágenes, documentos, múltiples imágenes y vídeo.

¿Puede realmente ejecutarse un modelo de 35B en un iPhone?

El proyecto demuestra un despliegue optimizado de 35B-A3B en un iPhone 17 Pro Max. Mantiene un conjunto de trabajo más pequeño en memoria mientras transmite expertos desde el almacenamiento local, en lugar de cargar los 35B de parámetros en la RAM de una sola vez.

¿“3 GB de memoria” significa que la descarga solo ocupa 3 GB?

No. La demostración móvil oficial indica una descarga total de aproximadamente 16,6 GB para el paquete 35B-A3B y recomienda alrededor de 17 GB de almacenamiento libre. El iPhone validado tiene 12 GB de RAM de dispositivo.

¿LES omite expertos para acelerar el modelo?

No. LES predice expertos para realizar una precarga y programa primero los que ya están disponibles. El enrutador real del modelo sigue seleccionando los expertos que se deben calcular, incluidos los que la predicción no detectó.

¿MiniCPM-V 4.7 puede funcionar sin conexión a internet?

Sí, las demostraciones locales realizan inferencia en el dispositivo una vez descargados o instalados los archivos necesarios. Los ejemplos de API de la fuente son pruebas independientes y no deben confundirse con el funcionamiento sin conexión.

¿Puedo usar cualquier archivo GGUF en la demostración MoE móvil?

No, la demostración requiere un paquete dividido correspondiente con su archivo principal -les, proyector visual y fragmentos de expertos. La documentación de la aplicación explica por qué los archivos GGUF estándar de modelo completo no proporcionan el mismo comportamiento de despliegue en teléfonos.

Herramientas relacionadas

• MiniCPM-V: Documentación del modelo, recursos de evaluación y recursos de la versión.
• MiniCPM-V Apps: Demostraciones locales y requisitos de paquetes de modelos para dispositivos móviles.
• llama.cpp-omni: Bifurcación del proyecto para el motor de inferencia en C++ y trabajo de optimización vinculado.

Enlaces relacionados

• Artículo original de QbitAI en BAAI: Demostraciones y ejemplos en teléfonos tratados aquí.
• Guía oficial de MiniCPM-V 4.7: Arquitectura, imágenes de evaluación, formatos y puntos de entrada de despliegue.
• Repositorio de despliegue móvil: Recomendaciones de hardware, descargas, división de expertos y configuración de plataforma.
• Repositorio principal de MiniCPM-V: Versiones actuales, incluida la actualización de cabezales DSpark del 15 de octubre.
• Self-Replay Fine-Tuning: Método, experimentos y limitaciones del enfoque contra el olvido.
• Licencia del repositorio OpenBMB: Términos Apache-2.0 y aviso de copyright de OpenBMB.

Resumen

MiniCPM-V 4.7 combina cómputo disperso con transmisión de expertos, programación anticipada, cuantización y compresión visual para hacer práctico un modelo multimodal más grande en determinados dispositivos locales. Las demostraciones cubren interpretación de gráficos, conversión de documentos y cálculos cotidianos, mientras que los benchmarks publicados proporcionan puntos de partida para la evaluación.

La principal limitación de despliegue es la diferencia entre la memoria de trabajo, la RAM total del dispositivo y los pesos almacenados. El resultado en teléfono es creíble como una configuración optimizada específica, no como una promesa de que un modelo completo de 35B quepa en 3 GB o funcione igual de bien en todos los dispositivos.