Para dar inicio a la semana, Cerebras Systems presentó su super computadora de inteligencia artificial (IA), Andromeda de 13,5 millones de núcleos para el aprendizaje profundo. Según Cerebras, Andromeda ofrece más de un exaflop (1 quintillón de operaciones por segundo) de potencia de cálculo de IA a 16 bits de media precisión.
Andromeda es en sí mismo un clúster de 16 computadoras Cerebras C-2 conectados entre sí. Cada CS-2 contiene un chip Wafer Scale Engine (a menudo llamado "WSE-2"), que es actualmente el mayor chip de silicio jamás fabricado, con unas 8,5 pulgadas cuadradas y repleto de 2,6 billones de transistores organizados en 850.000 núcleos.
Cerebras construyó Andromeda en un centro de datos de Santa Clara (California) por $35 millones USD. Está pensado para aplicaciones como los grandes modelos lingüísticos y ya se ha utilizado en trabajos académicos y comerciales. "Andromeda ofrece un escalado casi perfecto a través de un simple paralelismo de datos en grandes modelos de lenguaje de clase GPT, incluyendo GPT-3, GPT-J y GPT-NeoX", escribe Cerebras en un comunicado de prensa.
La expresión "escalado casi perfecto" significa que, a medida que Cerebras añade más unidades informáticas CS-2 a Andromeda, el tiempo de entrenamiento de las redes neuronales se reduce en "proporción casi perfecta", según Cerebras. Normalmente, para ampliar un modelo de aprendizaje profundo añadiendo más potencia de cálculo mediante sistemas basados en GPU, se pueden ver rendimientos decrecientes a medida que aumentan los costes del hardware.
Además, Cerebras afirma que su super computadora puede realizar tareas que los sistemas basados en la GPU no pueden:
“El trabajo imposible en la GPU fue demostrado por uno de los primeros usuarios de Andrómeda, que logró un escalado casi perfecto en la GPT-J con 2.500 millones y 25.000 millones de parámetros con longitudes de secuencia largas-MSL de 10.240. Los usuarios intentaron realizar el mismo trabajo en Polaris, un cluster de 2.000 Nvidia A100 y las GPUs no pudieron realizar el trabajo debido a las limitaciones de memoria y ancho de banda de la GPU”.
Todavía está por ver si estas afirmaciones se mantienen ante el escrutinio externo, pero en una época en la que las empresas suelen entrenar modelos de aprendizaje profundo en clúster cada vez más grandes de GPUs Nvidia, Cerebras parece ofrecer un enfoque alternativo.
¿Cómo se compara Andromeda con otras super computadoras? Actualmente, el más rápido del mundo, Frontier, se encuentra en los Laboratorios Nacionales de Oak Ridge y puede rendir a 1,103 exaflops a 64 bits de doble precisión. La construcción de esta super computadora costó $600 millones USD.
El acceso a Andrómeda ya está disponible para que lo utilicen varios usuarios a distancia. Ya lo utilizan el asistente de escritura comercial JasperAI y el Laboratorio Nacional de Argonne, así como la Universidad de Cambridge para la investigación.