Nico Finelli, miembro fundador de Vellum, ha compartido valiosas reflexiones sobre el estado actual de la inteligencia artificial (IA) en el proceso de producción, centrándose en la construcción de agentes de IA que realmente generen valor. Tras su experiencia en machine learning y modelos de lenguaje (LLMs), Finelli ha asesorado a empresas del Fortune 500 y actualmente se dedica a ayudar a otras organizaciones a avanzar desde la experimentación hasta la implementación efectiva de estas tecnologías.
En una encuesta reciente realizada a más de 1,200 desarrolladores de IA, se descubrió que solo el 25% de los participantes afirma estar utilizando sus iniciativas de IA en producción. A pesar del auge mediático de la IA generativa, muchas organizaciones todavía enfrentan desafíos importantes durante la fase de prueba. Uno de los principales obstáculos identificados es el fenómeno de las «alucinaciones» en los modelos de IA, un problema citado por más del 57% de los encuestados como su mayor desafío.
La evaluación se presenta como un aspecto crucial para determinar el éxito o el fracaso de un sistema de IA. Finelli señala que muchos equipos afectados por alucinaciones dependen de pruebas manuales y retroalimentación de usuarios como sus principales métodos de evaluación, lo que revela una falta de procesos sólidos para garantizar una implementación adecuada. La mayoría de los negocios todavía no cuenta con sistemas de pruebas automatizadas, lo que complica la resolución de estos problemas debido a la especificidad de las aplicaciones de IA.
Las empresas que logran llevar su IA a producción suelen seguir un enfoque disciplinado y bien definido desde el comienzo. En lugar de seguir tendencias, priorizan el desarrollo de casos de uso claros y la inclusión constante de retroalimentación entre desarrolladores y expertos en la materia, permitiéndoles iterar rápidamente. Según Finelli, alrededor del 65-70% de los clientes de Vellum tienen IA en producción, gracias en gran medida a su capacidad de ajuste rápido y evaluación continua de sus sistemas.
En conclusión, la implementación exitosa de agentes de IA no solo depende de la tecnología, sino también de la estructura y el enfoque adoptados en el proceso de desarrollo. La evaluación efectiva es clave para transformar la IA de un mero concepto a una herramienta útil y duradera en el ámbito empresarial.
