AWS ha desvelado su nueva funcionalidad AppSync Events, enfocada en la creación de APIs Websocket más seguras y escalables. Esta herramienta facilita la transmisión de eventos en tiempo real a millones de suscriptores, asegurando además una baja latencia en la propagación de eventos desde modelos de inteligencia artificial generativa hacia los usuarios finales. Esta integración es clave para mejorar la experiencia del usuario en aplicaciones de IA, permitiendo respuestas casi instantáneas a las solicitudes.
En un reciente artículo, AWS explica cómo AppSync Events puede servir de base para diseñar una arquitectura de gateway de IA sin servidor. Esta funcionalidad se combina con varios servicios de AWS para proporcionar un conjunto completo de capacidades que permiten arquitecturas de gateway de IA. Además, AWS ha compartido código de ejemplo para ayudar a los desarrolladores en sus proyectos iniciales.
El concepto de AI Gateway se presenta como un patrón de middleware arquitectónico que busca mejorar la disponibilidad, seguridad y visibilidad de los grandes modelos de lenguaje (LLMs). Esta arquitectura considera las variadas necesidades de diferentes actores dentro de una organización: usuarios que demandan respuestas rápidas y agradables, desarrolladores que buscan flexibilidad, personal de seguridad que requiere gobernanza y equipos de ingeniería que necesitan soluciones de monitoreo.
Las capacidades del AI Gateway incluyen autenticación y autorización mediante Amazon Cognito, acceso a APIs con baja latencia, gestión de autorizaciones, limitación de tasa y medición para manejar el tráfico de bots, acceso a diferentes modelos de IA y soluciones para el registro y análisis del comportamiento de la aplicación. También posibilita un monitoreo efectivo que permite una rápida reacción ante eventos críticos.
La arquitectura propuesta destaca la creación de canales de comunicación entre los usuarios y los modelos de LLM a través del uso de nombres de espacio en AppSync Events, reforzando la privacidad para que solo usuarios autorizados accedan a sus respectivos canales. Esto se lleva a cabo mediante funciones Lambda que validan la autorización del usuario.
Además, se subraya la importancia de la limitación de tasa y el control del uso de tokens, un aspecto esencial para muchas empresas que implementan soluciones de IA generativa. La integración de Amazon DynamoDB ayuda a mantener contadores atómicos para controlar el consumo de tokens, garantizando que los usuarios no excedan sus límites diarios o mensuales.
AWS también ha considerado la necesidad de análisis de datos, ofreciendo una solución que permite a los desarrolladores extraer información valiosa de los registros generados por la aplicación. Esto se consigue mediante una arquitectura que incluye Amazon Firehose, S3 y Amazon Athena, facilitando la transformación de datos en tablas estructuradas y consultables.
Con la introducción de AppSync Events, AWS impulsa el desarrollo de soluciones de AI Gateway que no solo mejoran el acceso a modelos de lenguaje, sino que también ofrecen mayor transparencia y control a todas las partes involucradas. Esta nueva dirección en la integración de IA está diseñada para satisfacer las crecientes necesidades de las empresas que buscan aprovechar la inteligencia artificial de manera segura y eficiente.
