¿Cuál es la relación entre la complejidad de un modelo y su rendimiento de inferencia?

No se puede determinar por qué la herramienta de análisis de referencia reporta FPS de inferencia similar para dos modelos de complejidades muy diferentes, que se define mediante operaciones de punto flotante giga (GFLOP).

• Un mayor número de FLOP es directamente proporcional a un número reducido de FPS. Sin embargo, no existe una comparación justa entre los FPS y FLOP.
• Factores que pueden afectar al FPS obtenido de Benchmark Tool:
  • Se ejecuta en modo sincrónico y asincrónico
  • Cantidad de transmisiones
  • Cantidad de solicitudes de inferencia