Además de los nuevos Intel Xeon 6900P con núcleos de alto rendimiento, Intel también ha querido ofrecer datos sobre su acelerador Gaudi 3. Tal y como había prometido en el pasado HotChips, Intel ha ofrecido más información sobre su aceleradora de última generación. Intel también ha aprovechado para anunciar la disponibilidad general de este acelerador Gaudi 3 para el próximo trimestre.
La aceleradora Gaudi 3 de Intel ofrece hasta 1.835 TFLOPS FP8 de pico, una memoria de 128 GB HBM2e y tiene un TDP de 600W. Todo esto en un tamaño de doble slot con 26,67 cm de longitud.
Intel también ha querido ofrecer datos de rendimiento en comparación con la solución top de NVIDIA, la H100. Según nos muestra la Gaudi 3 ofrece 1,09 veces más rendimiento en inferencia con LLaMa 3 8B y 1,8 veces más en rendimiento por vatio. Estas cifras se elevan a 1,19x más en inferencia con LLaMa 2 70B y 2 veces más rendimiento por vatio.
Esto es posible gracias a su arquitectura con 8 unidades MME y 64 TCP, que junto con los 128 GB de memoria HBM ofrecen un ancho de banda de 3,67 TB/s. Cuenta con 96 MB de SRAM por baldosa con un ancho de banda de 19,2 TB/s. Es capaz de gestionar hasta 1200 GB/s bidireccional para redes y se monta sobre una interfaz PCIe 5.0. Todo esto ofrece cifras de 1.835 TFLOPS BF16 y FP8 para matrices y 28,7 TFLOPS BF16 para vectores. Sus 14 decodificadores compatibles con HEVC, H.264, JPEG y VP9 ofrecen soporte para tareas de este tipo.
Junto a esta aceleradora Intel ofrece Gaudi Software Suite, un conjunto de herramientas que permiten sacar todo el provecho y máximo rendimiento de esta aceleradora Gaudi 3.
Fin del Artículo. ¡Cuéntanos algo en los Comentarios!
