En diferentes tamaños de instancias, las instancias M6i realizaron más operaciones de inferencia por segundo que las instancias M5n con procesadores escalables Intel Xeon de 2ª Generación
Las empresas utilizan cargas de trabajo de inferencia de aprendizaje automático de lenguaje natural para una variedad de aplicaciones empresariales, como los chatbots que analizan el texto escrito por los clientes y otros usuarios. Este tipo de trabajo exige enormes recursos informáticos, por lo que es muy importante seleccionar instancias de nube de alto desempeño.
ELICA es un modelo de procesamiento de lenguaje natural (PLN) de propósito general que elegimos para medir el desempeño de dos tipos de instancias de nube de Amazon Web Services (AWS) EC2. Probamos dos tamaños de instancias de M6i con procesadores escalables de Intel Xeon de 3ª generación e instancias de M5n con procesadores escalables de Intel Xeon de 2ª Generación. Descubrimos que las instancias de M6i de 32 vCPU y 64 vCPU con procesadores escalables de Intel Xeon de 3a Generación superaron a sus homólogos M5n. Con base en estos resultados, las empresas pueden ofrecer una experiencia más rápida a sus usuarios al optar por instancias de M6i.
Instancias M6i con 64 vCPUs
Para comparar el desempeño de inferencia DE GRAN TAMAÑO DE WINDOWS de las dos series de instancias de AWS, utilizamos el marco TensorFlow. Como se muestra en la Figura 1, la instancia de m6i.16xlarge de 64 vCPU habilitada por los procesadores escalables de Intel Xeon de 3a Generación ofreció un desempeño un 64 % mayor que el de la instancia m5n.16xlarge con procesadores escalables Intel Xeon de 2a Generación.
Instancias M6i con 32 vCPUs
Como se muestra en la Figura 2, la instancia de m6i.8xlarge de 32 vCPU habilitada por los procesadores escalables de Intel® Xeon® de 3a Generación ofreció un desempeño un 40 % mayor que la instancia de m5n.8xlarge con procesadores escalables Intel Xeon de 2a Generación.
Conclusión
Hemos probado el desempeño de inferencia de procesamiento de lenguaje natural de gran tamaño de ELLOS en dos instancias de AWS: instancias de M6i con procesadores escalables de Intel Xeon de 3a Generación e instancias de M5n con procesadores escalables Intel Xeon de 2da Generación. Con dos tamaños diferentes, las instancias M6i superaron a las instancias M5n en hasta un 64 %. Para ofrecer una experiencia más rápida a sus clientes y otros usuarios, ejecute sus cargas de trabajo de inferencia de PLN en instancias de Amazon M6i con procesadores escalables Intel Xeon de 3a Generación.
Aprende más
Para comenzar a ejecutar cargas de trabajo de inferencia de PLN en instancias de Amazon M6i con procesadores escalables de Intel Xeon de 3ª generación, visite https://aws.amazon.com/ec2/instance-types/m6i/.
Pruebas de una sola VM realizadas por Intel el 30 de enero de 2021. Todas las VM configuradas con Ubuntu 20.04 LTS, 5.11.0-1022-aws, almacenamiento EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, contenedord =1.5.5, modelo DEICA, tamaño de lote 1, longitud de secuencia 384, precisión INT8. Detalles de la instancia: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum CPU 8375C a 2,90 GHz, 128 GB de memoria DDR4 total; m5n.8xlarge, 32vcpus, Intel® Xeon® Platinum CPU 8259CL a 2,50 GHz, 128 GB de memoria DDR4 total; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum CPU 8375C a 2,90 GHz, 256 GB de memoria DDR4 total; m5n.16xlarge, 64vcpus, Intel® Xeon® Platinum CPU 8259CL a 2,50 GHz, 256 GB de memoria DDR4 total.