GAIA es el software Open Source de AMD que te permite instalar LLM locales y aprovechar la NPU de los Ryzen AI

Con el auge de la Inteligencia Artificial, son cada vez más los usuarios que tienen curiosidad por probar diferentes modelos que ayuden a resolver ciertas tareas de forma más sencilla. Pero a la hora de compartir tus datos con la IA, si está en la nube podemos ser algo desconfiados, por lo que se están ofreciendo opciones para instalar LLM de forma local. Este es el objetivo de GAIA, un proyecto de AMD que permite utilizar el poder de las NPU de los Ryzen para instalar y ejecutar estos lenguajes de forma local.

El proyecto es de código abierto y es capaz de aprovechar la unidad de procesamiento neuronal incluida en los procesadores AMD Ryzen AI para ejecutar modelos LLM de forma local y con mayor privacidad. Está optimizado para los procesadores AMD Ryzen AI de la serie 300 y ofrece dos modos de instalación, el instalador GAIA normal y la opción híbrida, esta última ofrece un rendimiento superior al utilizar junto a la NPU también el poder de la GPU integrada.

También permite la utilización de la tecnología RAG del agente, que permite recuperar información, razonar, planificar e incluso utilizar herramientas externas para ofrecer un entorno interactivo en el chat. Actualmente hay 4 agentes disponibles para diferentes funciones, y se están desarrollando otros que además se pueden complementar con la ayuda de la comunidad.

Al ejecutar los LLM de forma local obtendrás una serie de ventajas como mayor privacidad a la hora de compartir datos con la IA, ya que no será necesario enviar información a la nube. También obtendrás una latencia mucho menor, ya que no se necesitan comunicaciones a través de internet, además de un rendimiento optimizado, ya que este software está diseñado expresamente para utilizar todo el potencial de estas NPUs y, si así lo decides, también el de la GPU integrada.

Si tienes un nuevo portátil con un AMD Ryzen AI 300 Series puedes probar GAIA de forma gratuita.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!