¿Por qué la latencia y el rendimiento son más altos cuando el modelo de inferencia con OpenVINO™ análisis de referencia de la GPU en comparación con la CPU?

• El mismo modelo inferido con OpenVINO™ Benchmark en CPU y GPU:
  benchmark_app.exe -m model.xml -d CPU
  benchmark_app.exe -m model.xml -d CPU
• La latencia y el rendimiento generados en la GPU son mayores que en la CPU.
• No se puede determinar por qué la latencia y el rendimiento de la inferencia en la GPU son mayores que los de la CPU, ya que la baja latencia genera un alto rendimiento.

La latencia mide el tiempo de inferencia necesario para procesar una sola entrada si se inferencia sincrónica.

Cuando se ejecuta OpenVINO™ Benchmark con parámetros predeterminados, se inferencia en modo asincrónico. Por lo tanto, la latencia resultado mide el tiempo total de inferencia necesario para procesar el número de solicitudes de inferencia.

Además, al ejecutar la aplicación de análisis de desempeño en la CPU con parámetros predeterminados, se crearon 4 solicitudes de inferencia, mientras que se crearon 16 solicitudes de inferencia si se ejecuta Benchmark App en la GPU con parámetros predeterminados. Por lo tanto, la latencia resultante de la inferencia en la GPU es mayor que en la CPU.

Especifique el mismo número de solicitudes de inferencia al ejecutar la aplicación de análisis de desempeño en CPU y GPU para una comparación justa:
benchmark_app.exe -m model.xml -d CPU -nireq 4
benchmark_app.exe -m model.xml -d CPU -nireq 4