Intel Gaudi habilita una alternativa de menor costo para IA, cómputo y GenAI

Intel presenta los resultados de Gaudi 2 en el nuevo benchmark de MLCommons ajustando Llama 2 70B usando adaptadores de bajo rango y entrenando el modelo MLPerf GPT-3 con 1,000+ Gaudi 2s en Intel Tiber Developer Cloud.

Noticias

  • 12 de junio de 2024

  • Contacta al equipo PR de Intel

  • Siga las noticias de Intel en las redes sociales:

    Logotipo de Twitter
    Icono de YouTube

author-image

Por

El acelerador de IA Intel Gaudi 2 sigue siendo la única alternativa de referencia a Nvidia H100 para el rendimiento de IA generativa. (Créditos: Intel Corporation)

Novedades: Hoy, MLCommons publicó los resultados de su benchmark de desempeño de IA en la industria, MLPerf Training v4.0. Los resultados de Intel demuestran las opciones que los aceleradores de IA Intel® Gaudi® 2 ofrecen a empresas y clientes. El software basado en la comunidad simplifica el desarrollo de IA generativa (GenAI) y las redes Ethernet estándar de la industria permiten un escalado flexible de los sistemas de IA. Por primera vez en el benchmark MLPerf, Intel presentó resultados en un gran sistema Gaudi 2 (1024 aceleradores Gaudi 2) entrenado en Intel® Tiber™ Developer Cloud para demostrar el desempeño, la escalabilidad y la capacidad de nube de Intel para entrenar el modelo de referencia de parámetros GPT-3 175B1 .

"La industria tiene una clara necesidad: abordar las brechas en las ofertas empresariales de IA generativa de hoy en día con opciones de computación de alto desempeño y alta eficiencia. Los últimos resultados de MLPerf publicados por MLCommons ilustran el valor único que Intel Gaudi aporta al mercado, ya que las empresas y los clientes buscan sistemas escalables y rentables con redes estándar y software abierto, haciendo que la IA sea más accesible para más clientes".

–Zane Ball, vicepresidente corporativo y gerente general de Intel, DCAI Product Management

Por qué es importante: Cada vez más clientes desean beneficiarse de GenAI, pero no pueden hacerlo debido al costo, la escala y los requisitos de desarrollo. Con solo el 10% de las empresas moviendo con éxito proyectos GenAI a producción el año pasado, las ofertas de IA de Intel abordan los desafíos que enfrentan las empresas al escalar iniciativas. Intel Gaudi 2 es una solución accesible y escalable que ha demostrado su capacidad para entrenar fácilmente modelos de lenguaje grandes (LLM) de 70 mil millones a 175 mil millones de parámetros. El acelerador Intel® Gaudi® 3, que se lanzará próximamente, ofrecerá un salto en el desempeño, así como la apertura y las opciones para la GenAI empresarial.

Cómo los resultados de MLPerf de Intel Gaudi 2 demuestran transparencia: Los resultados de MLPerf muestran que Gaudi 2 sigue siendo la única alternativa de referencia de MLPerf para la computación de IA a Nvidia H100. Entrenados en Tiber Developer Cloud, los resultados de Intel GPT-3 muestran un tiempo de entrenamiento (TTT) de 66.9 minutos en un sistema de IA con 1,024 aceleradores Gaudi, demostrando un fuerte rendimiento de escalabilidad de Gaudi 2 en LLMs ultra grandes dentro de un entorno de nube para desarrolladores1.

El conjunto de pruebas presentó una nueva medición: ajuste fino (fine-tuning) del modelo de parámetros Llama 2 70B utilizando adaptadores de bajo rango (LoRa). El ajuste fino de los LLM es una tarea común para muchos clientes y profesionales de la IA, lo que la convierte en un punto de referencia relevante para las aplicaciones cotidianas. La presentación de Intel logró un tiempo de entrenamiento de 78.1 minutos en ocho aceleradores Gaudi 2. Intel utilizó el software de código abierto de Optimum Habana para la presentación, aprovechando Zero-3 de DeepSpeed para optimizar la eficiencia de la memoria y el escalado durante el entrenamiento de modelos grandes, así como Flash-Attention-2 para acelerar los mecanismos de atención. El grupo de trabajo de benchmark, dirigido por los equipos de ingeniería de Habana Labs y Hugging Face de Intel, es responsable de las reglas de este y del código de referencia.

Cómo Intel Gaudi ofrece a los clientes valor en IA: Hasta la fecha, los altos costos han dejado a demasiadas empresas fuera del mercado. Gaudi está empezando a cambiar eso. En Computex, Intel anunció que un kit de IA estándar que incluye ocho aceleradores Intel Gaudi 2 con una placa base universal (UBB) ofrecida a los proveedores de sistemas a $ 65,000 se estima que es un tercio del costo de plataformas competitivas comparables. Un kit que incluye ocho aceleradores Intel Gaudi 3 con un UBB se cotiza en $ 125,000, estimado en dos tercios del costo de plataformas competitivas comparables2.

La prueba está en un mayor impulso. Los clientes utilizan Gaudi por el valor que aporta con ventajas de relación precio-rendimiento y accesibilidad, que incluyen:

  • Naver, un proveedor de servicios en la nube de Corea del Sur y un motor de búsqueda líder que atiende a más de 600 millones de usuarios, está construyendo un nuevo ecosistema de IA y reduciendo las barreras para permitir la adopción de LLM a gran escala al reducir los costos de desarrollo y los plazos del proyecto para sus clientes.
  • AI Sweden, una alianza entre el gobierno sueco y la empresa privada, aprovecha a Gaudi para ajustar el contenido municipal específico del dominio para mejorar la eficiencia operativa y mejorar los servicios públicos para los constituyentes de Suecia.
     

Cómo Intel Tiber Developer Cloud ayuda a los clientes a acceder a Gaudi: Tiber Developer Cloud ofrece a los clientes una plataforma única, administrada y rentable para desarrollar e implementar modelos, aplicaciones y soluciones de IA, desde nodos únicos hasta gran capacidad informática a nivel de clúster. Esta plataforma aumenta el acceso a Gaudi para las necesidades de cómputo de IA. En Tiber Developer Cloud, Intel hace que sus aceleradores, CPUs, GPUs, una pila abierta de software de IA y otros servicios sean fácilmente accesibles. Seekr, cliente de Intel, lanzó recientemente su nuevo producto SeekrFlow, una plataforma de desarrollo de IA para ayudar a sus clientes desde la nube de desarrolladores de Intel.

Según CIO.com, Seekr citó ahorros de costos del 40% hasta el 400% utilizando Tiber Developer Cloud para ciertas cargas de trabajo de inteligencia artificial en comparación con sistemas locales con GPUs de otro proveedor y con otro proveedor de servicios en la nube. Además, indicaron que el entrenamiento de IA es un 20% más rápido y la inferencia de un 50% más rápida que en sistemas locales.3

Qué sigue: Intel presentará los resultados de MLPerf basados en el acelerador de IA Intel® Gaudi 3 en el próximo benchmark inferencia. Se proyecta que los aceleradores Intel Gaudi 3 proporcionarán un salto en el desempeño para el entrenamiento y la inferencia de IA en LLM y modelos multimodales populares, y estarán disponibles para el público en general en los fabricantes de equipos originales en el otoño de 2024.

Más contexto: Anuncio de MLCommons

Detalle:

Para cargas de trabajo y configuraciones, visite MLCommons.org. Los resultados pueden variar.

1 La medición del GPT-3 de MLPerf se realiza en un segmento representativo del 1 % de todo el modelo, según lo determinado por las empresas participantes que diseñan colectivamente el análisis de referencia MLCommons.

2 La guía de precios para tarjetas y sistemas es solo para fines de modelado. Consulte con el fabricante de equipo original (OEM) de su elección para conocer los precios finales. Los resultados pueden variar según los volúmenes y los plazos de entrega.

3 https://www.cio.com/article/2087053/seekr-finds-the-ai-computing-power-it-needs-in-intels-cloud.html