¿Por qué la aplicación de diferentes ponderaciones a un modelo afecta el desempeño de la inferencia?

Se observó un rendimiento de inferencia diferente al ejecutar la misma arquitectura de modelo con diferentes archivos de peso. Aunque la estructura del modelo es idéntica, el desempeño de la inferencia varía significativamente según el peso, la precisión y la representación utilizada.

Los pesos y la precisión del modelo (FP32, FP16, INT8) afectan el desempeño de la inferencia.

El uso del formato FP32 daría como resultado la distribución completa del peso y se conoce como punto flotante de precisión única.

Mientras tanto, los formatos FP16 e INT8 son formatos de peso comprimido en los que se comprimen para ser más pequeños. La compensación de estas compresiones es la precisión del modelo, también conocida como error de cuantificación.
Cuantos más bits se asignen para representar datos, más amplio será el rango que podrían representar y, potencialmente, la precisión del modelo. Sin embargo, los datos más grandes requieren mayor espacio de memoria para su almacenamiento, mayor ancho de banda de memoria necesario para transferirlos, y más recursos informáticos y tiempo agotados.

Los resultados del análisis de referencia de Distribución Intel® del kit de herramientas OpenVINO™ muestran diferencias obvias en términos de rendimiento entre los diferentes formatos de peso o precisión.

Comparación entre INT8 y FP32 en redes y plataformas seleccionadas

Elija FP16, FP32 o INT8 para el modelo de aprendizaje profundo.