Paso rápido para vincular varios procesos de inferencia a diferentes CPU
El tiempo de inferencia duplica al ejecutar dos procesos para inferir el mismo modelo.
- Usar OpenVINO™ para inferir un modelo.
- El tiempo de inferencia es de aproximadamente 300 ms cuando se ejecuta un solo proceso.
- Cuando se utilizan dos procesos, el tiempo de inferencia para ambos procesos se convierte en 600 ms.
- Agregue el siguiente comando en el script main.cpp .
ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")
- Cree la demostración.
- El valor predeterminado de la configuración de KEY_CPU_BIND_THREAD es SÍ.
- En Linux*, esto hace que los dos procesos se vinculen al mismo núcleo de CPU y duplique el tiempo de inferencia.
- Configuración de la configuración KEY_CPU_BIND_THREAD en NO se unbinds inferencia de subprocesos desde núcleos de CPU en Windows* y Linux*.
Consulte Parámetros de configuración admitidos para obtener más información sobre los parámetros de configuración para el complemento de CPU.