Intel presenta su nueva arquitectura de aceleradores de IA Gaudi 3
El nuevo chipset Gaudi de tercera generación, diseñado para entornos empresariales de alta eficiencia y escalabilidad, viene de la mano de importantes mejoras de rendimiento que Intel resume en el doble de capacidad de rendimiento en computación de IA en FP8, hasta 4 veces mas rendimiento en operaciones BF16, el doble de ancho de banda de red y hasta 1.5 veces mas ancho de banda de memoria.
Entrando en los detalles de esta nueva unidad, que puede paralelizarse en un mismo servidor, encontramos 64 unidades Tensor, 8 matrices matemáticas, hasta 128GB de memoria HBM integrada con hasta 3.7TB/s de ancho de banda. Se apoya también en 96MB de memoria SRAM con 12.8TB/s de ancho de banda.
La conectividad incluye novedades importantes como 24 enlaces de 200GbE RoCE de estándar completamente abierto a diferencia de la generación anterior que usaba infiniband que es una solución propietaria de Intel. De este modo el fabricante se abre a una solución completamente abierta.
Este chipset además incluye 16 enlaces PCI Express 5.0 para conectividad host con el servidor lo que la convierte en una de las primeras tarjetas de ampliación con esta capacidad de enlace.
Su escalabilidad le permite generar clústeres de hasta 1024 nodos con un total de 8192 aceleradores Gaudi 3 convirtiéndola en una de las soluciones mas escalables y masivas del mercado en una clara apuesta de Intel por luchar por este segmento de mercado con NVIDIA que es hoy en día líder indiscutible en aceleradores IA dedicados.
De hecho, la marca afirma que sus soluciones Gaudi 3 pueden ser hasta un 40% más rápidas en configuraciones de hasta 8192 aceleradores simultáneos en lenguajes como GPT3-175B o hasta un 15% más rápidos que el mismo H100 de NVIDIA en LLAMA2-70B. En inferencia promete aun mas rendimiento, con hasta 1.5 veces mas velocidad que las soluciones mas avanzadas, hasta la fecha, de NVIDIA basadas en aceleradores de la gama H.
Estos nuevos aceleradores vienen hoy acompañados del lanzamiento de los nuevos procesadores Xeon de sexta generacion, con disponibilidad inmediata para los modelos Xeon 6700E basados en E-Core de arquitectura Crestmont.
Fin del Artículo. ¡Cuéntanos algo en los Comentarios!