Despliegue y Entrenamiento de Modelos de IA a Escala Trillonaria con Amazon SageMaker en P6e-GB200 UltraServers

Elena Digital López

Amazon ha lanzado un innovador sistema llamado SageMaker HyperPod que promete transformar la forma en que las organizaciones desarrollan e implementan modelos de inteligencia artificial. Este avance, que integra el poder de las NVIDIA Blackwell GPUs, ofrece un rendimiento impresionante de 360 petaflops en cálculo denso y 1.4 exaflops en cálculos dispersos.

Los P6e-GB200 UltraServers, basados en la arquitectura NVIDIA GB200 NVL72, son capaces de soportar el desarrollo y despliegue de modelos de IA con miles de billones de parámetros a gran escala. Estos servidores, integrados con SageMaker HyperPod, permiten a las organizaciones escalar rápidamente el desarrollo de modelos, minimizando el tiempo de inactividad y facilitando la transición del entrenamiento al despliegue masivo.

Las capacidades de los P6e-GB200 UltraServers son revolucionarias: conectan 36 CPUs NVIDIA Grace con 72 GPUs Blackwell en un único dominio NVLink, proporcionando un acceso sin precedentes a recursos de computación. Esta arquitectura optimiza el rendimiento y la eficiencia en la formación de modelos de IA.

Otra característica destacada es la red de alto rendimiento, que ofrece hasta 130 TBps de ancho de banda NVLink de baja latencia entre GPUs, mejorando la comunicación en cargas de trabajo a gran escala. Además, soportan hasta 405 TB de almacenamiento NVMe SSD local, lo que acelera el entrenamiento de modelos mediante un almacenamiento y acceso rápido a datos.

La combinación de SageMaker HyperPod y los UltraServers ofrece un entrenamiento y despliegue más rápidos y eficientes, especialmente útil para organizaciones que manejan múltiples proyectos de IA, maximizando la infraestructura y reduciendo costos operativos.

Las capacidades de UltraServer están disponibles en la zona local de AWS en Dallas a través de planes de entrenamiento flexibles. Las organizaciones interesadas pueden registrarse en la consola de SageMaker para comenzar a utilizar esta tecnología pionera y potenciar su desarrollo en inteligencia artificial.

Scroll al inicio