En la actualidad, el auge de la inteligencia artificial generativa ha propiciado la constante aparición de nuevos modelos de lenguaje de gran tamaño, cada uno con capacidades y arquitecturas únicas. Entre ellos destaca Amazon Nova, un modelo de fundación que ofrece inteligencia avanzada y un rendimiento económico líder en la industria, disponible exclusivamente a través de Amazon Bedrock. Desde su lanzamiento en 2024, profesionales de la IA generativa, incluidos equipos de Amazon, han comenzado a migrar sus cargas de trabajo desde modelos anteriores hacia Amazon Nova.
Sin embargo, al cambiar entre diferentes modelos de fundación, los prompts creados para el modelo original pueden no funcionar eficientemente en Amazon Nova sin un proceso de optimización. Amazon Bedrock proporciona una herramienta que permite la optimización automática de estos prompts, adaptándolos a los estándares del modelo Nova. Durante la migración, uno de los principales desafíos es garantizar que el rendimiento post-migración sea igual o mejor que antes. Esto requiere una evaluación exhaustiva del modelo, así como la comparación del rendimiento y la optimización de los prompts, buscando mejorar los resultados en relación a la carga de trabajo anterior.
Se presenta un nuevo enfoque y arquitectura de migración para estos modelos de lenguaje, que incluye un proceso continuo de evaluación del modelo, generación de prompts y optimización de datos. Esta solución evalúa el rendimiento del modelo antes de la migración y optimiza iterativamente los prompts del modelo Nova mediante conjuntos de datos proporcionados por el usuario. Este enfoque se ha implementado con éxito en tareas como resúmenes de texto, clasificación multinivel, y respuestas a preguntas utilizando la metodología de Generación Aumentada por Recuperación (RAG).
Migrar la carga de trabajo generativa a Amazon Nova requiere un enfoque estructurado que implica, entre otras cosas, la evaluación del modelo antiguo y la optimización de los nuevos prompts. El flujo de trabajo se organiza en cuatro pasos clave: evaluar el modelo fuente y recoger métricas de rendimiento basadas en el caso de uso, actualizar automáticamente la estructura y lenguaje de los prompts, y realizar pruebas que validen el rendimiento del modelo en el entorno de producción.
Además, en el área de optimización, se presenta una metodología para refinar la estructura de los prompts a través de Amazon Bedrock, mejorando la interacción de los desarrolladores de AWS con los modelos de fundación. La optimización de datos consciente también se utiliza para maximizar el rendimiento de los modelos, ajustándose a métricas definidas por el usuario.
La implementación de este proceso ha resultado en mejoras significativas en el rendimiento de las tareas evaluadas, como se evidencia en la optimización del modelo Amazon Nova Lite, donde se alcanzó una mejora del 77.75% a un 83.25%, y con la posterior aplicación de un optimizador, la precisión aumentó a un 87.75%.
Finalmente, las lecciones aprendidas durante el diseño de la solución indican que es crucial contar con un conjunto de datos de alta calidad y relevancia, métricas definidas adecuadas para el caso de uso específico, y un enfoque iterativo en la optimización para maximizar el rendimiento general del modelo. Este enfoque puede aplicarse no solo a la migración hacia Amazon Nova, sino también a otros procesos de migración de modelos, permitiendo a las organizaciones mejorar efectivamente sus capacidades de inteligencia artificial generativa.
