Microsoft ha revelado su más reciente innovación: el modelo de lenguaje Mu, diseñado para operar eficazmente en dispositivos locales, mejorando la interacción con el agente de Configuración en Windows. Mu es capaz de interpretar complejas relaciones entre entradas y salidas, ofreciendo un rendimiento óptimo en dispositivos equipados con Unidad de Procesamiento Neural (NPU).
Destacado por su capacidad de procesar más de 100 tokens por segundo, Mu es ideal para situaciones que requieren respuestas rápidas y precisas. Con una arquitectura de transformador optimizada, se basa en un diseño codificador-decodificador que permite menor latencia y un mayor rendimiento en comparación con modelos que solo utilizan decodificación.
Durante su desarrollo, se realizaron diversas optimizaciones para asegurar su eficiencia en NPUs. Esto incluyó ajustes en la arquitectura del modelo y una distribución optimizada de parámetros, maximizando su eficiencia en operaciones específicas de hardware. Además, Mu utiliza técnicas avanzadas de cuantización de modelos, asegurando un rendimiento óptimo sin comprometer la precisión.
En la creación del agente de Configuración, Mu fue entrenado con millones de ejemplos, centrándose en consultas de lenguaje natural que faciliten cambios en los ajustes del sistema. A lo largo de este desarrollo, se buscó reducir los tiempos de respuesta a menos de 500 milisegundos, objetivo que Mu ha logrado cumplir con éxito.
Este avance no solo mejora la experiencia del usuario al permitir interacciones más naturales con el sistema operativo, sino que también representa un progreso significativo en la capacidad de los modelos de lenguaje para operar en dispositivos de menor potencia. La colaboración con equipos de ciencia aplicada ha sido clave en el refinamiento y optimización del modelo, con un enfoque constante en la retroalimentación de los usuarios.
