¿Por qué aplicar diferentes pesos a un modelo afecta el desempeño de la inferencia?

1. Genere dos archivos IR (archivos .xml idénticos pero archivos .bin diferentes)
2. Un modelo similar con diferentes pesos se ejecuta a diferentes fps (27 fps y 6 fps)
3. ¿Los pesos que son más diversos afectan el desempeño de la inferencia en myriad X?

El peso y la precisión del modelo (FP32, FP16, INT8) afectan el desempeño de la inferencia.

El uso del formato FP32 resultaría en la distribución completa del peso y se conoce como punto flotante de precisión única.

Los formatos Fp16 e INT8, que son de formatos con formatos de peso comprimido en los que se comprimen para que sean de un tamaño más pequeño. El inconveniente de estas compresiones es la precisión del modelo o también conocido como error de cuantificación.

Cuantos más bits se asignen para representar datos, mayor rango podrían representar y, potencialmente, mejor precisión del modelo. Sin embargo, los datos más grandes requieren un mayor espacio de memoria para su almacenamiento, un mayor ancho de banda de memoria necesario para transferirlo, y más recursos informáticos y tiempo que se utiliza.

Los resultados del análisis de desempeño Distribución Intel® del kit de herramientas OpenVINO™ describen diferencias evidentes en términos de desempeño entre diferentes formatos de peso o precisión.

Comparación de INT8 vs FP32 en redes y plataformas seleccionadas

Elija FP16, FP32 o INT8 para el modelo de aprendizaje profundo.