AMD desvela los primeros resultados de MLPerf 4.1 en sus aceleradoras Instinct MI300X
MLPerf es uno de los métodos para medir el rendimiento que el hardware tiene a la hora de manejar grandes modelos de lenguaje (LLM) utilizados en sistemas de inteligencia artificial.
AMD ha demostrado de lo que son capaces sus aceleradoras AMD Instinct MI300X junto a la última versión de la suite de código abierto ROCm para sacarle todo el provecho. En esta ocasión, se ha realizado el primer benchmark de AMD en MLPerf v4.1, recién lanzado, utilizando el modelo de lenguaje LLaMA2-70B, uno de los más avanzados hoy en día.
Las pruebas se han realizado en dos escenarios, uno Offline donde se maximiza el rendimiento en tokens por segundo, y otro que simula un entorno de servidores, con límites de latencia donde se busca ver la capacidad del sistema para responder rápido en tareas que requieren poca latencia. Además, se han realizado varios test con distintas configuraciones de CPU, incluyendo procesadores EPYC Genoa y Turing.
Una de las ventajas de los 192 GB de HBM que integran estas tarjetas MI300X es que permiten cargar grandes modelos de lenguaje directamente en ellas, consiguiendo la mayor capacidad de memoria HBM del mercado.
MLPerf v4.1 con AMD MI300X junto a CPU EPYC Genoa y Turing
En esta prueba se han utilizado 8 tarjetas AMD Instinct MI300X y se busca ver el rendimiento que obtienen en combinación con las plataformas EPYC de AMD en cargas de trabajo de IA.
Los resultados con dos procesadores AMD EPYC 93374F la cuarta generación AMD EPYC GENOA muestran un rendimiento entre el 2 y el 3% por debajo de las NVIDIA DGX H100 con procesadores Intel Xeon, tanto en entornos de servidor como offline con precisión FP8.
En el caso de la prueba con dos AMD EPYC Turin, todavía en modo preview estas CPUS de quinta generación, consiguen superar ligeramente a las soluciones de Intel+NVIDIA en el caso del modo Offilne, también en precisión FP8.
AMD también ha realizado otras pasadas del MLPerf v4.1 para comparar el escalado entre una y ocho tarjetas MI300X. En las pruebas se puede ver que el rendimiento se multiplica por cifras que rondan el 8, consiguiendo un escalado linear prácticamente perfecto.
Además, hacen especial mención a que los 192 GB de memoria HBM pueden cargar el modelo LLaMa 2 70B directamente en una sola GPU.
Dell también ha querido mostrar el rendimiento de sus sistemas PowerEdge XE968 dotados de 8 aceleradoreas MI300X junto a dos procesadores Intel Xeon Platinum 8460Y+
Fin del Artículo. ¡Cuéntanos algo en los Comentarios!