La semana pasada, durante el evento COMPUTEX, Nvidia anunció que su nuevo “GH200 Grace Hopper Superchip”, una combinación de CPU y GPU especialmente diseñada para aplicaciones de inteligencia artificial a gran escala, ha entrado en plena producción. Esta maravilla tecnológica cuenta con 528 núcleos tensoriales en su GPU, admite hasta 480GB de RAM de CPU y 96GB de RAM de GPU y ofrece un ancho de banda de memoria GPU de hasta 4TB por segundo. El chip Nvidia H100 Hopper, es la GPU más potente de la compañía para centros de datos. Este chip alimenta modelos de inteligencia artificial como el ChatGPT de OpenAI y representó una mejora significativa sobre el chip A100 de 2020, que impulsó las primeras rondas de entrenamiento para muchos de los chatbots generativos de inteligencia artificial y generadores de imágenes que tanto han dado de qué hablar.
Las GPU más rápidas se traducen aproximadamente en modelos de inteligencia artificial generativos más potentes, ya que pueden ejecutar más multiplicaciones de matrices en paralelo (y hacerlo más rápido), lo cual es necesario para que las redes neuronales artificiales actuales funcionen. El GH200 toma la base del "Hopper" y la combina con la plataforma de CPU Grace de Nvidia (ambos chips llevan el nombre de la pionera en computación Grace Hopper), integrándola en un solo chip a través de la tecnología de interconexión C2C (chip a chip) NVLink de Nvidia. La compañía espera que esta combinación acelere drásticamente las aplicaciones de inteligencia artificial y aprendizaje automático, tanto en el entrenamiento (creación del modelo) como en la inferencia (ejecución del mismo).
"La inteligencia artificial generativa está transformando rápidamente los negocios, abriendo nuevas oportunidades y acelerando el descubrimiento en la atención médica, finanzas, servicios empresariales y muchas más industrias", dijo Ian Buck, vicepresidente de computación acelerada en Nvidia, en un comunicado de prensa. "Con los Grace Hopper Superchips en plena producción, los fabricantes de todo el mundo pronto proporcionarán la infraestructura acelerada que las empresas necesitan para construir y desplegar aplicaciones de inteligencia artificial generativa que aprovechen sus datos propios".
Según la compañía, las características clave del GH200 incluyen una nueva interfaz de memoria compartida (coherente) de 900GB/s, que es siete veces más rápida que PCIe Gen5. El GH200 también ofrece un ancho de banda de memoria del sistema agregado 30 veces mayor a la GPU en comparación con el mencionado Nvidia DGX A100. Además, el GH200 puede ejecutar todas las plataformas de software de Nvidia, incluido el Nvidia HPC SDK, Nvidia AI y Nvidia Omniverse.
Notablemente, Nvidia también anunció que integrará este chip combinado de CPU/GPU en un nuevo superordenador llamado DGX GH200, que puede utilizar la potencia combinada de 256 chips GH200 para funcionar como una única GPU, proporcionando 1 exaflop de rendimiento y 144 terabytes de memoria compartida, casi 500 veces más memoria que la generación anterior del Nvidia DGX A100.
El DGX GH200 será capaz de entrenar modelos gigantes de inteligencia artificial de próxima generación (¿GPT-6?) para aplicaciones de lenguaje generativo, sistemas de recomendación y análisis de datos. Nvidia no anunció el precio del GH200, pero según Anandtech, un solo ordenador DGX GH200 "fácilmente costará en algún lugar de los 8 dígitos bajos". En general, es razonable decir que, gracias a los avances continuos en hardware de proveedores como Nvidia y Cerebras, es probable que los modelos de inteligencia artificial en la nube de alta gama sigan mejorando con el tiempo, procesando más datos y haciéndolo mucho más rápido que antes.