Todos los Detalles de Intel Gaudi 3: Hasta 4 veces más rendimiento en Inteligencia Artificial

Tal y como habíamos comentado, los chips Intel Gaudi 3 llegarían a lo largo de este 2024 y ha sido hoy mismo cuando el gigante de los semiconductores ha desvelado todos sus detalles y especificaciones.

Intel Gaudi 3 supone la tercera generación de aceleradores para Inteligencia Artificial de la compañía, y llega en pleno punto álgido de la efervescencia de la inteligencia general para todo tipo de aplicaciones. Por ello, se ha diseñado específicamente para ofrecer más rendimiento y mayor eficiencia en esos usos específicos.

Cada chip Gaudi 3 incluye 64 Tensor Processor Cores de quinta generación con 8 Matrix Math Engines (Motores de matrices matemáticas). Junto a ellos, 96 MB de SRAM con 12,8 TB/s de ancho de banda se complementan con nada más y nada menos que 128 GB de memoria HBM2e con 3,7 TB/s de ancho de banda. 

Cada chip incluye su propio sistema de red para poder interconectarse mediante 24x 200GbE y PCI Express 5 x16.

Todo ello hace que Gaudi 3 ofrezca unos datos de rendimiento muy superiores a los Intel Gaudi 2 disponibles en la actualidad. Hablamos de hasta 4 veces más rendimiento en computación BF16 para IA, 2 veces más rendimiento en FP8 con sus 1.835 TFLOPs, el doble de ancho de banda de red y 1,5 veces más velocidad de memoria.

Gaudi 3 entrará a competir también con las soluciones de NVIDIA H100 y H200. En concreto, contra las H100 Intel promete que sus sistemas con Gaudi 3 serán 1,7 veces más rápidos de entrenar al mismo tiempo que promete ser 2,3 veces más eficiente que la alternativa de NVIDIA.

El proceso de inferencia, según los datos de Intel, se espera que sea 1,5 veces más rápido en una Gaudi 3 que en una NVIDIA H100.

Naturalmente, siendo unos chips destinados a un uso empresarial en servidores, Intel Gaudi 3 está especialmente optimizado para implementarse en sistemas con múltiples aceleradoras, desde sistemas de 1 solo nodo con 8 aceleradoras Gaudi 3 con 14,7 PETAFLOPs y 1 TB de memoria, hasta clústeres de 1024 notos que alcanzan cifras de vértigo del orden de 15 EXAFLOPS, con 1 PETABYTE de memoria HBM2e y un ancho de banda total de red de entrada/salida de 1,229 PB/S.

Dependiendo del tipo de sistema, los Intel Gaudi 3 estarán disponibles en tres formatos distintos: Por un lado, tendremos la tarjeta aceleradora independiente HL-325L con un chip Gaudi 3.

Esta tarjeta aceleradora ofrece toda la potencia de un chip Gaudi 3 junto a 128 GB de HBM2e integrados.

Por otro lado, tenemos la Universal Baseboard HLB-325 que forma un nodo de 8 tarjetas aceleradoras Gaudi 3. Combinadas, consiguen 14,6 PFLOPS de potencia, con más de 1 TB de memoria HBM2e, 64 motores de multiplicación de matrices, 29,6 TB/s de ancho de banda de memoria y 192 conexines de 200 GbE para 9,6 TB/s de ancho de banda de red bidireccional.

Finalmente, para los sistemas independientes que cuenten con conectividad PCI Expres x16, Intel ofrecerá la tarjeta PCIe CEM HL-338 con un chip Gaudi 3. Ofrece las mismas especificaciones que la tarjeta aceleradora suelta, pero se integra en un formato de tarjeta de 10,5 pulgadas con un TDP de 600 W.

Intel ofrecerá una suite completa de software para el desarrollo de nuevas aplicaciones y tareas, incluyendo distintas herramientas, frameworks, drivers, librerías, etc. Como curiosidad, la compañía ha destacado que se puede pasar de una herramienta desarrollada para Gaudi 2 a una para Gaudi 3 simplemente cambiando tres líneas de código.

Durante la primera mitad del año, Intel ofrecerá samples a empresas y clientes de las tarjetas aceleradores Gaudi 3 con refrigeración por aire y líquida, siendo la segunda mitad del año cuando comience la producción en masa.

Los primeros clientes serán Dell, HPe, Lenovo y SuperMicro, además de todos aquellos con acceso a la Intel Developer Cloud que ya pueden acceder a la potencia de Gaudi 3 a través de la plataforma de computación en la nube de Intel desde hoy mismo.

Os dejamos con algunas pruebas de rendimiento que tendrá la Intel Gaudi 3 según las proyecciones de Intel.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!