OpenVINO™ aumenta el tiempo de inferencia cuando se ejecutan varios procesos

El tiempo de inferencia se duplica cuando se ejecutan dos procesos para inferir el mismo modelo.

• Usar OpenVINO™ para inferir un modelo.
• El tiempo de inferencia es de aproximadamente 300 ms cuando se ejecuta un solo proceso.
• Cuando se utilizan dos procesos, el tiempo de inferencia para ambos procesos se convierte en 600 ms.

1. Agregue la siguiente configuración en la aplicación.
   Python*: core.set_property("CPU", {ov.properties.hint.enable_cpu_pinning(False)})
   C++ : core.set_property("CPU", ov::hint::enable_cpu_pinning(false));
2. Cree la demostración.

• El valor predeterminado de enable_cpu_pinning property is enabled (true or YES) on Linux* and disabled (false or NO) on Windows* and macOS*.
• En Linux, la configuración predeterminada de enable_cpu_pinning is enabled, which in some scenarios can cause multiple processes to bind to the same CPU core, potentially doubling inference time.
• Establecer la propiedad en false unbinds inferencing threads from specific CPU cores, allowing the operating system to schedule threads, which may be beneficial in applications with several parallel workloads.

Consulte Sugerencias de rendimiento y Programación de subprocesos para obtener más información.