Que no te engañen con los TOPS en Inteligencia Artificial. Qué miden y por qué son tan importantes

Qué significan TOPS de tu procesador, GPU o NPU

La Inteligencia Artificial está presente en multitud de dispositivos, los lenguajes avanzan para ofrecer cada vez soluciones más complejas y personalizadas. Para este tipo de tareas los fabricantes cada vez están lanzando dispositivos con mayor potencia en AI (o IA en español), una potencia que utilizan como unidad de medida los TOPS. Con esto se demuestra la capacidad de cálculo de las GPUs pero, ¿Los fabricantes nos engañan a la hora de mostrar los TOPS de sus dispositivos? Veamos esto.

Está de moda indicar los TOPS para la capacidad de procesamiento de la Inteligencia Artificial se refiere, en los dispositivos capaces de ejecutar tareas y que estén o no diseñados expresamente para la IA. Esto fue apareciendo a medida que se añadían chips específicos para estas tareas en la unidad de procesamiento, hablamos de la NPU. Indicando la capacidad de la NPU los fabricantes comenzaron una guerra en cuanto a potencia de cálculo.

Pero también es sabido que las GPUs son unos procesadores capaces de ejecutar tareas para Inteligencia Artificial. Las aceleradoras que a menudo podemos ver como noticia en realidad son GPUs mucho más potentes que las habituales que encontramos para consumo. Las GPUs que habitualmente encontramos para nuestros PCs de casa tienen incluso mayor rendimiento que las NPUs (no siempre es así, pero generalizando) para ejecutar tareas de inteligencia artificial.

NVIDIA ya introdujo la Inteligencia Artificial con sus núcleos Tensor en la generación RTX 20 Series, una tecnología que ha ido mejorando poco a poco con el lanzamiento de nuevas generaciones. AMD también ha ido poco a poco adaptándose a los tiempos y a lo que piden los usuarios con las nuevas generaciones apoyadas con algoritmos basados en IA. También los demás fabricantes de GPUs, ya sean integradas o dedicadas como Intel, Qualcomm, etc

Todos estos fabricantes también están expresando el poder de sus GPUs en cuanto a IA se refiere, una medida que da a entender que cuantos más TOPS tenga mejor rendimiento tendrá en este nuevo y recién llegado mundo a la informática.

No solo los fabricantes de GPUs o NPUs están haciendo uso de esta capacidad para reflejar esta potencia, sino que los fabricantes de PCs, generalmente de portátiles, también quieren que los usuarios vean lo potentes que son sus máquinas. Entonces podemos ver que rendimiento tiene este PC, o cuanto tiene aquel PC, incluso sumando la potencia que ofrece la GPU, con la Unidad de Procesamiento Neuronal (NPU) y con la CPU. Cifras que asombran a los usuarios que están buscando su nuevo dispositivo.

Pero claro, en matemáticas te enseñan a que no se pueden sumar melones con sandías, porque son dos cosas diferentes aunque ambas son una fruta. Con los TOPs pasa algo parecido, ya que hay diferentes formas que determinan esta métrica y que no deberían mezclarse. En general, hay operaciones que necesitan más precisión y otras menos, por lo que un cómputo total a la hora de citar TOPS para NPU + GPU y CPU no se deberían sumar.

De igual forma tampoco es correcto decir que una NPU o GPU tiene X TOPS sin especificar qué tipo de precisión, o al menos sin saber claramente qué es esto. Por esto mismo os lo vamos a contar en esta guía.

¿Qué son los TOPS en IA?

Para empezar, tendremos que hacer una breve pero concisa introducción a qué son los TOPS. Aunque lo puedes conocer en nuestro diccionario de tecnología, profundizaremos un poco más para ponernos en situación.

Estos vienen de sus siglas Tera Operations Per Second o Tera Operaciones Por Segundo, también los podrás encontrar en inglés como Trillion Operations Per Seconds (o Trillones de Operaciones por Segundo). Teniendo en cuenta que un trillón en USA corresponde con un billón en el resto del mundo, lo que equivalen a 10¹² o lo que es lo mismo, un billón 1.000.000.000.000, sería correcto.

Las GPUs, NPUs o incluso los CPUs son capaces de realizar una gran cantidad de tareas en coma flotante por cada segundo. Como los TOPs miden precisamente esto, cada elemento por separado o en conjunto puede ejecutar un gran número de estas operaciones. Pero la diferencia está en la precisión con la que son capaces de realizar estas tareas, una precisión que ha ido disminuyendo para ofrecer mayor capacidad de cálculo, aunque no todas las operaciones se pueden realizar con la menor precisión.

La precisión está reflejada por un número binario y permite definir un rango de valores, que puede ser más o menos amplio según la longitud de este número. Se representa con las siglas FP de Float Point (Punto Flotante) seguidas de un número que expresa la precisión de este número a representar. Habitualmente encontramos FP64, FP32 y FP16, aunque más recientemente también se ha incorporado FP8 y FP4.

Cuanto más largo es el número a emplear mayor precisión se obtendrá en los resultados, aunque también manejar números más complejos es más complicado. Estos números están compuestos por dígitos binarios que representan, en conjunto o de forma individual, un valor. Así, el primer dígito indica el signo, un grupo de 0 y 1 representa el exponente siempre en base 2 y el resto se deja para los decimales.

Veamos que tipos de precisión hay.

La precisión para medir los TOPS en Inteligencia Artificial

Por ejemplo, el FP64 está compuesto por 64 bits de doble precisión, utiliza 64 bits para representar números a la hora de realizar los cálculos donde el primer bit es el signo, 11 bits representan al exponente y se dejan 52 bits para la fracción o valor decimal. Como podemos ver esta es una precisión muy grande, pero también es muy pesada para realizar cálculos, por lo que difícilmente se verá en el campo que nos concierne, modelos de IA.

Veamos los principales y más utilizados en esta tabla:

Para poder realizar cálculos de forma más rápida ahora la mayoría de NPUs y GPUs modernas son compatibles con FP8 e incluso con FP4. Esto significa que en lugar de tener 64 bits para representar un número cuentan con 8 bits o 4 bits, lo que aligera mucho los cálculos a cambio de, como es evidente, contar con mucha menos precisión.

Básicamente se conoce como precisión doble a FP64, empleada en modelados que necesitan de mucha precisión y que incluyen datos científicos y simulaciones complicadas de mecánica o dinámica de fluidos. FP32 es la precisión simple y se emplea como término medio a la hora de cálculos que no requieren de mucha precisión, pero tampoco necesitan la mayor velocidad. Esta FP32 se emplea en aprendizaje automático, renderizado y algunas simulaciones.

Entre medias de una velocidad extrema y una gran precisión en los cálculos está FP16 o precisión media. Esta emplea 10 bits para los decimales y 5 para el exponente, con un bit para el signo. Empleado para entrenamiento de IA empleando más cálculos por unidad de tiempo, como por ejemplo modelos 3D entrenados por IA.

Pero para cálculos que necesitan una velocidad extrema también está FP4 y FP8, donde se emplea mucha menos precisión a cambio de una gran velocidad. FP4 emplea menos de la mitad de la memoria que FP16, lo que permite procesar de forma más rápida con menos potencia y moviendo menos datos. Pero esto no es válido para todos los cálculos.

Las nuevas NVIDIA Blackwell cuentan con soporte para FP4, aunque es una técnica nueva y la compatibilidad con software y hardware todavía está en desarrollo.

Por esto, FP4 no es una opción muy extendida y usada actualmente, aunque los fabricantes lo emplean para poder ofrecer una mayor número de TOPS, algo que induce a engaño.

El engaño de los TOPS y TFLOPS

Además de los TOPS, también los fabricantes hacen referencia a los TFLOPS. La pequeña diferencia entre TOPS y TFLOPS es que estos últimos miden concretamente el número de operaciones en coma flotante. TFLOPS son las abreviaturas de Tera Float Operations Per Second.

Según lo visto anteriormente, aunque podríamos profundizar más en los FP o puntos flotantes, podemos determinar a grandes rasgos que FP4 emplea menor precisión a cambio de una gran velocidad en los cálculos. También hemos visto que no siempre se puede emplear FP4, y hay que recurrir a FP8 e incluso a FP16.

Esto deja claro que a mayor precision el numero de TOPS siempre es menor. Por tanto, no se pueden comparar potencias de una GPU o cualquier otro chip con distintos niveles de precisión.

Esto permite a los fabricantes ofrecer cifras confusas respecto a la potencia que tienen sus dispositivos ya sean CPUs, GPUs o NPUs, aunque también en conjunto. Además, mezclan diferentes potencias ofrecidas por los fabricantes, donde seguramente esta potencia total esté formada por la suma de varios máximos de cada componente, sin tener en cuenta que precisión han tomado cada uno de ellos.

Así, podemos ver que una tarjeta gráfica ofrece 1.406 TOPS para Modelos de Inteligencia Artificial, como es el ejemplo de la NVIDIA RTX 5070 Ti. Pero no se especifica qué tipo de precisión emplea el fabricante para ofrecer estos datos. Seguramente se ofrecerá este dato utilizando la menor precisión y más rápida con la que es compatible, que en estas RTX 50 Series se corresponde con FP4.

Entonces podemos ver cómo esta cifra no es del todo correcta, ya que esta GPU no siempre emplea la precisión más rápida para realizar los cálculos. En ocasiones seguro que tiene que usar FP8, FP16 o incluso FP32 para algunos, dejando esta cifra de 1.406 inservible. Esto es porque en ningún sitio se expresa (al menos de forma clara y concisa) que esta sería la cantidad máxima teórica a la que puede trabajar esta GPU siempre que pueda emplear la precisión empleada para estos valores.

Además, si un fabricante de PCs premontados mete una de estas NVIDIA RTX 5070 Ti junto con un procesador AMD o Intel que tenga una capacidad total expresada en sus especificaciones, también puede ofrecer el rendimiento en conjunto. Suponiendo que coloca un Intel Core i9 285K junto con esta NVIDIA RTX 5070 Ti, el conjunto ofrece 1406+36 (de la GPU y la CPU) que hacen un total de 1442. Pero en esta ocasión Intel está especificando que estos 36 corresponden a una precisión INT8 y la de NVIDIA no se conoce (aunque presumiblemente corresponde con FP4).

Otras veces utilizan estas estrategias para ofrecer cifras que parecen alucinantes, incluso citando que provienen de precisiones diferentes. Así puedes decir que la nueva GPU rinde el doble que la generación anterior, cuando en la nueva GPU se emplea una precisión FP4 mientras que la antigua, al no ser compatible con FP4 emplea FP8 que es más lenta. Esto inevitablemente hace destacar en gráficos al nuevo modelo, pero el rendimiento mostrado no es real.