Intel nos muestra Gaudi 2 corriendo modelos lingüísticos similares a GPT en tiempo real

En el evento ISC HPC 2023 Intel nos ha mostrado en funcionamiento sus módulos Gaudi 2 en formato OCP-OA para tareas de Inteligencia Artifical y Deep Learning.

Cada placa Gaudi 2 cuenta con 24 Tensor Processor cores y nada más y nada menos que 96 GB de memoria HBM2 integrada junto a 48 MB de SRM y 24 puertos Ethernet de 100 Gbps. Utilizan el proceso de 7 nanómetros para su fabricación. Están disponible en sistemas de la nube Intel Developer Cloud, o en servidores físicos Gaudi2 Server de Supermicro.

Hemos podido ver en funcionamiento a 7 tarjetas Intel Gaudi 2 funcionando a la vez para hacer la inferencia a tiempo real de un sistema lingüístico de Inteligencia Artificial denominado Boom Z. Un sistema similar al sistema GPT que se utiliza en aplicaciones como ChatGPT o bing Chat

Intel promete rendimientos de hasta un 2,44 veces superiores a los que consigue una tarjeta NVIDIA A100 en tareas como inferencia de IA de Stable Diffusion y de hasta 1,3 veces en el BLOOMz que hemos podido ver en directo.

En la demo, como decíamos, se utilizaron 7 de estos módulos Intel Habana Gaudi 2, sin embargo, su diseño escalable hace que se puedan utilizar muchos más sin perder apenas rendimiento. De hecho, la compañía promete un 0% de pérdida de rendimiento si sumamos hasta 32 módulos Gaudi 2, y tan solo se pierde un 1% cuando se escala a 64 de estos módulos. Es decir, que el rendimiento final es prácticamente el rendimiento de un módulo multiplicado por el número de módulos que se utilicen sin apenas pérdida.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!