Los modelos de lenguaje grandes han demostrado ser efectivos en tareas generales, pero enfrentan dificultades cuando se trata de trabajos especializados que requieren comprensión de datos internos y terminología específica del sector. Para adaptar estos modelos a contextos organizacionales, se utiliza un proceso conocido como ajuste fino supervisado (SFT). Este puede llevarse a cabo mediante dos metodologías: el ajuste de parámetros eficientes (PEFT), que actualiza solo un subconjunto de parámetros, y el SFT de rango completo, que ajusta todos los parámetros del modelo.
Sin embargo, el SFT de rango completo enfrenta el desafío del «olvido catastrófico». Esto ocurre cuando los modelos aprenden patrones específicos de un dominio y pierden capacidades generales, lo que obliga a las organizaciones a elegir entre especialización e inteligencia general, limitando así su utilidad.
Amazon ha presentado una solución con Nova Forge, un servicio que permite a los usuarios construir sus propios modelos mediante el uso de Nova. Los clientes pueden empezar el desarrollo desde modelos tempranos y combinar datos propios con datos curados por Amazon, alojando sus modelos personalizados en AWS de manera segura.
Un equipo de AWS China evaluó Nova Forge en una tarea compleja de clasificación de la Voz del Cliente (VOC), trabajando con más de 16,000 comentarios y una jerarquía de etiquetas con 1,420 categorías. Se demostró que el enfoque de mezcla de datos de Nova Forge ofrece un aumento del 17% en el puntaje F1 en rendimiento en dominios específicos, manteniendo además capacidades generales y habilidades de seguimiento de instrucciones tras el ajuste.
La clasificación de comentarios de clientes es típica en grandes empresas de comercio electrónico, donde se recibe una gran cantidad de comentarios diariamente. Necesitan un modelo que clasifique cada comentario con alta precisión y genere respuestas adecuadas, además de realizar análisis de datos.
La evaluación incluyó un marco dual que mide el rendimiento específico del dominio usando un conjunto de datos real de VOC. Se observaron mejoras significativas en el F1-score, resaltando la efectividad de la mezcla de datos de Nova en mitigar el olvido catastrófico.
Los resultados indican que al mezclar datos durante el ajuste, se puede mantener un alto rendimiento en tareas específicas sin sacrificar las habilidades generales. Se recomienda utilizar el SFT supervisado para maximizar el rendimiento en el dominio y aplicar la mezcla de datos de Nova para múltiples flujos de trabajo en producción.
En conclusión, Nova Forge muestra cómo las organizaciones pueden construir modelos de IA especializados sin renunciar a la inteligencia general, ofreciendo beneficios adicionales en el desarrollo e implementación de soluciones de IA generativa en entornos empresariales.
