Las empresas están adoptando cada vez más modelos de lenguaje de gran escala (LLMs) mediante el uso de Amazon Bedrock para extraer conclusiones valiosas de sus datos internos. Amazon Bedrock ofrece un servicio completamente gestionado que permite el acceso a modelos de inteligencia artificial de alto rendimiento proporcionados por líderes del sector como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI y Amazon, todo a través de una única API. Este servicio integra múltiples capacidades para desarrollar aplicaciones avanzadas de inteligencia artificial generativa, garantizando siempre la seguridad, la privacidad y un enfoque responsable.
Las organizaciones que utilizan sistemas de inteligencia artificial conversacional a menudo se enfrentan a un reto común: sus APIs son rápidas para resolver preguntas simples, pero en consultas más complejas que requieren razonamiento y acción, los tiempos de respuesta son significativamente mayores, afectando la experiencia del usuario. Este problema es especialmente crítico en sectores regulados, donde los requerimientos de seguridad son extremadamente estrictos. Un ejemplo de ello es una organización financiera global con más de 1.5 billones de dólares en activos bajo gestión, que sufría de este inconveniente a pesar de haber integrado múltiples LLMs y fuentes de datos en su sistema.
Para resolver este problema de manera efectiva, AWS AppSync surge como una solución clave. Este servicio gestionado permite a los desarrolladores construir APIs GraphQL sin servidor con capacidades en tiempo real. La combinación de suscripciones de AWS AppSync y los puntos finales de streaming de Amazon Bedrock permiten entregar respuestas de LLM de forma incremental, proponiendo un plan de implementación de grado empresarial que ayuda a mantener el cumplimiento de seguridad mientras optimiza la experiencia del usuario.
La solución utiliza AWS AppSync para gestionar el flujo de trabajo conversacional de forma asíncrona. Una función de AWS Lambda interactúa con la API de streaming de Amazon Bedrock. A medida que los modelos de lenguaje generan respuestas, estas se transmiten al front-end mediante las capacidades de suscripción y mutación de AWS AppSync.
La arquitectura de la solución proporciona una serie de pasos desde el tratamiento de la solicitud del usuario hasta la recepción de respuestas en tiempo real. Cuando el usuario carga la interfaz, esta se conecta a través de WebSocket para establecer comunicación. Después de formular una consulta, se lanza una función GraphQL que publica un evento en Amazon Simple Notification Service (SNS), enviando un mensaje de confirmación al usuario y completando el flujo inicial. La función Lambda orquestadora se activa con el evento SNS, comenzando la comunicación con Amazon Bedrock para recibir tokens en streaming que se envían al front-end.
Gracias a la integración de Amazon Bedrock y AWS AppSync, una entidad financiera logró reducir los tiempos de respuesta de consultas complejas de 10 segundos a entre 2 y 3 segundos, mejorando considerablemente la interacción con los usuarios. Esta mejora no solo reduce las tasas de abandono, sino que también aumenta el compromiso y satisfacción del usuario con las aplicaciones. Las empresas que adopten esta estrategia tecnológica pueden esperar beneficios significativos en el rendimiento y eficacia de sus servicios.
