Desempeño de inferencia más lento en Barra de cómputo neuronal Intel® 2 (Intel® NCS2) en comparación con la CPU

• Se utiliza Intel® Core™ i7 procesador para ejecutar benchmark_app.py con -m model.xml, con entrada aleatoria generada
• El desempeño en NCS2 es más lento que el de la CPU:

  Para NCS2:
  [ INFO ] First inference took 33.88 ms
  [Step 11/11] Dumping statistics report
  Count: 2596 iterations
  Duration: 60141.63 ms
  Latency: 92.60 ms
  Throughput: 5525.09 FPS

  Para CPU:
  [ INFO ] First inference took 17.07 ms
  [Step 11/11] Dumping statistics report
  Count: 148124 iterations
  Duration: 60001.79 ms
  Latency: 1.61 ms
  Throughput: 315988.43 FPS

Se espera que el rendimiento de la CPU sea mejor en comparación con Intel® NCS2 ya que la CPU tiene más potencia de cálculo.

Intel® NCS2 es un dispositivo acelerador que ayudaría en ciertas situaciones, especialmente cuando se requiere potencia informática adicional.

Además, la CPU requiere el formato de modelo FP32 mientras que Intel® NCS2 requiere el formato de modelo FP16. FP16 podría tener un error de cuantificación, ya que se comprime de un modelo de precisión completa para hacerlo más pequeño. Esto afectaría a la precisión y el rendimiento.

El desempeño significa qué tan rápido está el modelo en implementación con dos métricas clave: latencia y rendimiento.

En OpenVINO™, hay dos enfoques para mejorar el rendimiento:

Durante el desarrollo: herramienta de optimización posterior al entrenamiento (POT), marco de compresión de redes neuronales (NNCF), optimizador de modelos.

Durante la implementación: ajuste de parámetros de inferencia y optimización de la ejecución del modelo.

Es posible combinar ambos enfoques.

Resultados del análisis de desempeño de OpenVINO™

Elija FP16, FP32 o int8 para los modelos de aprendizaje profundo

Guía de optimización del desempeño