Intel Gaudi 2 sigue siendo la única alternativa de referencia a NV H100 para el desempeño de GenAI

Los resultados más recientes de MLPerf para el acelerador Intel Gaudi 2 e Intel Xeon de 5ª Generación demuestran cómo Intel está elevando el estándar para el desempeño de IA generativa en toda su cartera y con sus socios del ecosistema.

Noticias

  • 27 de marzo de 2024

  • Contacta al equipo PR de Intel

  • Siga a la Sala de Prensa de Intel en redes sociales:

    Logotipo de Twitter
    Icono de YouTube

author-image

Por

Novedades: Hoy, MLCommons publicó los resultados del benchmark de MLPerf v4.0. Los resultados para los aceleradores Gaudi® 2 y los procesadores Xeon® de 5ª Generación con Intel® Advanced Matrix Extensions (Intel® AMX) refuerzan el compromiso de la compañía de llevar "IA a todas partes" con una amplia cartera de soluciones competitivas. El acelerador de IA Intel Gaudi 2 sigue siendo la única alternativa de referencia a Nvidia H100 para el rendimiento en IA generativa (GenAI) y ofrece un sólido rendimiento por dólar. Además, Intel sigue siendo el único proveedor de CPU para servidores que presenta resultados de MLPerf. Los resultados de Xeon de 5ª Generación mejoraron en un promedio de 1,42 veces en comparación con los resultados de los procesadores Xeon® de 4ª Generación en MLPerf Inference v3.1.

"Continuamos mejorando el desempeño de la IA en benchmarks de la industria en nuestra cartera de aceleradores y CPUs. Los resultados de hoy demuestran que estamos ofreciendo soluciones de IA que cumplen con los requisitos dinámicos y diversos de IA de nuestros clientes. Tanto los productos Gaudi como los de Xeon ofrecen a nuestros clientes opciones listas para su implementación y que ofrecen sólidas ventajas de relación precio-desempeño".

–Zane Ball, vicepresidente corporativo y gerente general de Intel, Administración de productos DCAI

Por qué es importante: Basándose en el desempeño de entrenamiento e inferencia de rondas anteriores de MLPerf, los resultados de MLPerf de Intel ofrecen a los clientes puntos de referencia estándar de la industria para evaluar el desempeño de la IA.

Acerca de los resultados de Intel Gaudi 2: El paquete de software Intel® Gaudi® continúa aumentando la cobertura de modelos de modelos de lenguaje grande (LLM) y modelos multimodales populares. Para MLPerf Inference v4.0, Intel presentó los resultados del acelerador Gaudi 2 para los modelos de última generación Stable Diffusion XL y Llama v2-70B.

Debido a la fuerte demanda de los clientes de Hugging Face Text Generation Inference (TGI), los resultados de Llama de Gaudi utilizaron el conjunto de herramientas TGI, que admite el batching continuo y el paralelismo de tensores, mejorando la eficiencia de la escalabilidad del mundo real de los LLM. Para Llama v2-70B, Gaudi 2 entregó 8035.0 y 6287.5 para tokens por segundo fuera de línea y de servidor, respectivamente. En Stable Diffusion XL, Gaudi 2 entregó 6.26 y 6.25 para muestras fuera de línea por segundo y consultas de servidor por segundo, respectivamente. Con estos resultados, Intel Gaudi 2 sigue ofreciendo una relación precio/desempeño atractiva, una consideración importante cuando se analiza el costo total de propiedad (TCO).

Acerca de los resultados de Intel Xeon de 5ª generación: Tras las mejoras de hardware y software, los resultados mejoraron en una media geométrica de 1,42 veces en comparación con los resultados de los procesadores Intel Xeon de 4ª Generación en MLPerf Inference v3.1. Como ejemplo, para GPT-J con optimizaciones de software que incluyen el batching continuo, la presentación de la 5ª generación de Xeon mostró ganancias de rendimiento de aproximadamente 1,8 veces en comparación con la presentación v3.1. Del mismo modo, DLRMv2 mostró aproximadamente 1,8 veces más ganancias de desempeño y 99,9 de precisión debido a MergedEmbeddingBag y otras optimizaciones que utilizan Intel AMX.

Intel se enorgullece de su colaboración con los socios OEM (Cisco, Dell, Quanta, Supermicro y WiWynn) para ofrecer sus propias presentaciones de MLPerf. Además, Intel ha participado en MLPerf con resultados de cuatro generaciones de productos Xeon, desde 2020, y en muchos casos, Xeon sirve como la CPU principal para las presentaciones de los aceleradores.

Cómo probar soluciones de IA en Intel Developer Cloud: Los procesadores Xeon de 5ª Generación y los aceleradores Intel Gaudí 2 están disponibles para su evaluación en Intel® Developer Cloud. En este entorno, los usuarios pueden ejecutar tanto entrenamientos a pequeña como a gran escala (LLM o GenAI) y cargas de trabajo de producción de inferencia a escala, administrar recursos informáticos de inteligencia artificial y más.

Lo que sigue: Sintonice Intel Vision 2024, donde la compañía compartirá más sobre su estrategia para llevar "IA a todas partes", junto con una actualización sobre los aceleradores de IA Intel Gaudi 3.

Más contexto: Anuncio de MLCommons

La letra pequeña:

Para cargas de trabajo y configuraciones, visite MLCommons.org. Los resultados pueden variar.