Meta y Arm se unen para ofrecer un rendimiento mejorado del LLM Llama 3.2 en CPUs basadas en Arm
La Inteligencia Artificial está en pleno auge, los dispositivos hacen uso de esta tecnología para ofrecer mejores resultados y experiencias de usuario. Para mejorar aún más esta experiencia, Arm ha colaborado con META para ofrecer mejores resultados con Llama 3.2 cuando se ejecuta en procesadores basados en Arm. Esto es fruto de la inversión en IA que ha realizado Arm junto con software de código abierto, que permite crear nuevos LLM desde 1B hasta 90B bajo plataformas Arm.
El nuevo Llama 3.2 3B se puede ejecutar en teléfonos móviles basados en Arm con un procesamiento más rápido hasta 5 veces y generando 3 veces más token, esto da 19,92 token por segundo. Como resultado, la latencia se reduce para tareas de IA ofreciendo resultados más rápidos. También se ha conseguido reducir el consumo procesando la IA en el extremo, ahorrando energía en los datos que se transmiten hacia y desde la nube.
Al ser de código abierto, Llama 3.2 puede obtener mejoras y optimización por parte de la comunidad. Arm está trabajando para optimizar el rendimiento de la IA en estas CPUs, ofreciendo compatibilidad con los núcleos Cortex y Neoverse sin necesidad de que lo integre el desarrollador. También se ofrecen beneficios a la hora de entrenar con estos procesadores, con la integración de Kleidi (librerías para IA) con PyTorch y con ExecuTorch, generando tiempos menores en estos procesadores basados en Arm como AWS Graviton.
Esta colaboración permite aprovechar los recursos disponibles y mejorar las tareas para IA usando LLM de Meta sobre CPUs Arm. Una mejora disponible para usuarios domésticos o empresas, que ofrecerá ayuda y apoyo para llevar el día a día de forma más productiva gracias al uso de la Inteligencia Artificial.
Fin del Artículo. ¡Cuéntanos algo en los Comentarios!