Novedades: Hoy, Meta lanzó Meta Llama 3, su modelo de lenguaje grande (LLM) de próxima generación. A partir del día del lanzamiento, Intel ha validado su cartera de productos de IA para los primeros modelos Llama 3, 8B y 70B en aceleradores, procesadores Intel® Xeon®, Intel® Core™ Ultra, gráficos Intel® Arc™® y aceleradores Intel Gaudi®.
Intel colabora activamente con los líderes en el ecosistema de software de IA para ofrecer soluciones que combinan el rendimiento con la simplicidad. Meta Llama 3 representa la próxima gran iteración en modelos de lenguaje grandes para IA. Como importante proveedor de hardware y software de IA, Intel se enorgullece de trabajar con Meta para aprovechar modelos como Llama 3 que permitirán al ecosistema desarrollar productos para aplicaciones de IA de vanguardia".
Por qué es importante: Como parte de su misión de llevar la IA a todas partes, Intel invierte en el ecosistema de software e IA para garantizar que sus productos estén listos para las últimas innovaciones en el espacio dinámico de IA. En el centro de datos, los procesadores Gaudi y Xeon con aceleración Intel® Advanced Matrix Extension (Intel® AMX) ofrecen a los clientes opciones para cumplir con requisitos dinámicos y de amplio alcance.
Los procesadores Intel Core Ultra y los productos gráficos Intel Arc ofrecen tanto un vehículo de desarrollo local como implementación en millones de dispositivos con soporte para marcos y herramientas de software completos, incluyendo PyTorch e Intel® Extension for PyTorch® utilizada para investigación y desarrollo local, y el kit de herramientas OpenVINO™ para desarrollo e inferencia de modelos.
Acerca de la ejecución de Llama 3 en Intel: Las pruebas iniciales y los resultados de rendimiento de Intel para los modelos Llama 3 de 8B y 70B utilizan software de código abierto, incluyendo PyTorch, DeepSpeed, la biblioteca Intel Optimum Habana e Intel Extension for PyTorch para proporcionar las últimas optimizaciones de software. Para obtener más detalles sobre desempeño, visite el Blog de desarrolladores de Intel.
- Los aceleradores Intel® Gaudi® 2 han optimizado el rendimiento en los modelos Llama 2 (parámetros 7B, 13B y 70B) y ahora tienen mediciones iniciales de rendimiento para el nuevo modelo Llama 3. Con la madurez del software Gaudi, Intel ejecutó fácilmente el nuevo modelo Llama 3 y generó resultados para la inferencia y el ajuste fino. Llama 3 también es compatible con el recientemente anunciado acelerador Gaudi® 3.
- Los procesadores Xeon abordan las exigentes cargas de trabajo de IA de extremo a extremo, y la compañía invierte en optimizar los resultados de LLM para reducir la latencia. Los Xeon® 6 con Performance-cores (con nombre en código Granite Rapids) muestran una mejora de 2 veces en la latencia de inferencia Llama 3 8B en comparación con los procesadores de 4a Generación y la capacidad de ejecutar modelos de lenguaje más grandes, como Llama 3 70B, por menos de 100 ms por token generado.
- Intel Core Ultra e Intel Arc ofrecen un rendimiento impresionante para Llama 3. En una ronda inicial de pruebas, los procesadores Intel Core Ultra ya generan velocidades de lectura humanas más rápidas que las típicas. Además, la GPU Intel® Arc™ A770 cuenta con aceleración de IA Xe Matrix eXtensions (XMX) y 16 GB de memoria dedicada para proporcionar un desempeño excepcional para las cargas de trabajo LLM.
Lo que sigue: En los próximos meses, Meta espera introducir nuevas capacidades, tamaños de modelo adicionales y un rendimiento mejorado. Intel continuará optimizando el desempeño de sus productos de IA para respaldar este nuevo LLM.
Más contexto: Blog de desarrolladores de Intel | Blog de Meta Llama 3 | Llama 3
Detalle:
Descargos de responsabilidad y configuraciones de desempeño completo disponibles en: https://www.intel.com/content/www/us/en/developer/articles/technical/accelerate-meta-llama3-with-intel-ai-solutions.html
Los gráficos Intel® Arc™ integrados solo están disponibles en determinados sistemas impulsados por procesadores Intel® Core™ Ultra de la serie H.