Paso rápido para mejorar el tiempo de carga del modelo en la GPU
Cargar la representación intermedia (IR) de un modelo de entrada en la GPU tarda más tiempo que cargar el mismo modelo en una CPU.
Cree manualmente cl_cache directorio en el directorio de trabajo de la aplicación.
El controlador utilizará este directorio para almacenar las representaciones binarias de los núcleos compilados. Esto funcionará en todos los sistemas operativos compatibles.
Consulte este artículo para obtener más información sobre la administración del cl_cache.
Cargar el modelo de entrada en formato de representación intermedia (IR) en la GPU tarda más tiempo que cargar el mismo modelo en una CPU porque la pila de la GPU se basa en OpenCL*. El tiempo de carga depende del tiempo de compilación de los kernels OpenCL*.
Cuando se habilita el cl_cache, la primera vez que se carga el modelo todavía tomará mucho tiempo porque se compilará el kernel de OpenCL*. Sin embargo, cada carga posterior del mismo modelo será mucho más rápida.