NVIDIA ha lanzado su próxima generación de chips de supercomputadoras de IA que probablemente desempeñarán un papel importante en futuros avances en aprendizaje profundo y modelos de lenguaje grande (LLM) como GPT-4 de OpenAI, anunció la compañía.
La tecnología representa un salto significativo sobre la última generación y está lista para ser utilizada en centros de datos y supercomputadoras, trabajando en tareas como la predicción del clima y el clima, el descubrimiento de fármacos, la computación cuántica y más.
GPU HGX H200
El producto clave es la GPU HGX H200 basada en la arquitectura “Hopper” de NVIDIA, un reemplazo para la popular GPU H100. Es el primer chip de la compañía que utiliza memoria HBM3e que es más rápida y tiene más capacidad, lo que lo hace más adecuado para modelos de lenguaje grandes. “Con HBM3e, el NVIDIA H200 ofrece 141 GB de memoria a 4,8 terabytes por segundo, casi el doble de capacidad y 2,4 veces más ancho de banda en comparación con su predecesor, el NVIDIA A100”, escribió la compañía.
En términos de beneficios para la IA, NVIDIA dice que el HGX H200 duplica la velocidad de inferencia en Llama 2, un LLM de 70 mil millones de parámetros, en comparación con el H100. Estará disponible en configuraciones de 4 y 8 vías que son compatibles con el software y el hardware de los sistemas H100. Funcionará en todo tipo de centros de datos (en las instalaciones, la nube, la nube híbrida y el borde) y será implementado por Amazon Web Services, Google Cloud, Microsoft Azure y Oracle Cloud Infrastructure, entre otros. Está previsto que llegue en el segundo trimestre de 2024.
Superchip GH200 Grace Hopper
El otro producto clave de NVIDIA es el “superchip” GH200 Grace Hopper que combina la GPU HGX H200 y la CPU NVIDIA Grace basada en Arm utilizando la interconexión NVLink-C2C de la compañía. Está diseñado para supercomputadoras para permitir que “los científicos e investigadores aborden los problemas más desafiantes del mundo al acelerar aplicaciones complejas de IA y HPC que ejecutan terabytes de datos”, escribió NVIDIA.
El GH200 se utilizará en “más de 40 supercomputadoras de IA en centros de investigación globales, fabricantes de sistemas y proveedores de nube”, dijo la compañía, incluso de Dell, Eviden, Hewlett Packard Enterprise (HPE), Lenovo, QCT y Supermicro. Entre ellos se destacan las supercomputadoras Cray EX2500 de HPE que utilizarán GH200 cuádruples, escalando a decenas de miles de nodos Grace Hopper Superchip.
JUPITER: La supercomputadora de IA más poderosa del mundo
Quizás la supercomputadora Grace Hopper más grande sea JUPITER, ubicada en las instalaciones de Jülich en Alemania, que se convertirá en el “sistema de IA más poderoso del mundo” cuando se instale en 2024. Utiliza una arquitectura refrigerada por líquido, “con un módulo de refuerzo que comprende cerca de 24,000 Superchips NVIDIA GH200 interconectados con la plataforma de red NVIDIA Quantum-2 InfiniBand”, según NVIDIA.
NVIDIA dice que JUPITER ayudará a lograr avances científicos en varias áreas, incluida la predicción del clima y el clima, generando simulaciones climáticas y meteorológicas de alta resolución con visualización interactiva. También se empleará para el descubrimiento de fármacos, la computación cuántica y la ingeniería industrial. Muchas de estas áreas utilizan soluciones de software NVIDIA personalizadas que facilitan el desarrollo, pero también hacen que los grupos de supercomputación dependan del hardware de NVIDIA.
Las nuevas tecnologías serán clave para NVIDIA
Las nuevas tecnologías serán clave para NVIDIA, que ahora obtiene la mayor parte de sus ingresos de los segmentos de IA y centros de datos. El trimestre pasado, la compañía registró ingresos récord de $10.32 mil millones en esa área sola (de un total de $13.51 mil millones en ingresos), un 171 por ciento más que hace un año.
Sin duda, espera que la nueva GPU y el superchip ayuden a continuar esa tendencia. Justo la semana pasada, NVIDIA rompió su propio récord de referencia de entrenamiento de IA utilizando tecnología H100 anterior, por lo que su nueva tecnología debería ayudarlo a ampliar esa ventaja sobre sus rivales en un sector que ya domina.
