Intel® Distribution de OpenVINO™ kit de herramientas

Novedades

• Más cobertura de IA de generación e integraciones de marcos para minimizar los cambios de código
  • Nuevos modelos compatibles:
    • En CPU y GPU: Qwen3-Embedding-0.6B, Qwen3-Reranker-0.6B, Mistral-Small-24B-Instruct-2501.
    • En NPUs: Gemma-3-4b-it y Qwen2.5-VL-3B-Instruct.
  • Vista previa: modelos de mezcla de expertos (MoE) optimizados para CPU y GPU, validados para Qwen3-30B-A3B.
  • Integraciones de canalización GenAI: Qwen3-Embedding-0.6B y Qwen3-Reranker-0.6B para una mejor recuperación/clasificación, y Qwen2.5VL-7B para la canalización de video.
• Compatibilidad más amplia con el modelo LLM y más técnicas de compresión de modelos
  • El soporte Gold para Windows ML* permite a los desarrolladores implementar modelos y aplicaciones de IA sin esfuerzo en CPU, GPU y NPU en Intel® Core™ Ultra PC con IA impulsada por procesador.
  • El back-end ONNX del marco de compresión de redes neuronales (NNCF) ahora admite la cuantificación estática posterior al entrenamiento (PTQ) INT8 y la compresión de solo peso INT8/INT4 para garantizar la paridad de precisión con OpenVINO modelos de formato IR. Se agregó soporte para el algoritmo SmoothQuant para la cuantificación INT8.
  • Generación acelerada de múltiples tokens para GenAI, aprovechando los kernels de GPU optimizados para ofrecer una inferencia más rápida, una reutilización más inteligente de la caché KV y un desempeño LLM escalable.
  • Las actualizaciones del complemento de GPU incluyen un desempeño mejorado con caché de prefijos para escenarios de historial de chat y una precisión LLM mejorada con compatibilidad de cuantificación dinámica para INT8.
• Más portabilidad y desempeño para ejecutar IA en el perímetro, en la nube o localmente
  • Anunciamos la compatibilidad con Intel® Core™ Ultra serie 3 de procesadores.
  • Se agregó compatibilidad con el formato de blob cifrado para la implementación de modelos seguros con OpenVINO™ GenAI. Los pesos y artefactos de los modelos se almacenan y transmiten en un formato cifrado, lo que reduce los riesgos de robo de IP durante la implementación. Los desarrolladores pueden implementar con cambios mínimos en el código utilizando OpenVINO canalización de GenAI.
  • OpenVINO™ Model Server y OpenVINO™ GenAI ahora amplían el soporte para escenarios de IA Agentic con nuevas características como análisis de salida y plantillas de chat mejoradas para interacciones confiables de múltiples turnos, y funcionalidad de vista previa para el modelo Qwen3-30B-A3B. OVMS también presenta una vista previa para los puntos finales de audio.
  • La implementación de NPU se simplifica con la compatibilidad por lotes, lo que permite una ejecución perfecta del modelo en Intel® Core™ Ultra procesadores, al tiempo que elimina las dependencias de los controladores. Los modelos se redimensionan a batch_size=1 antes de la compilación.
  • La integración mejorada de NVIDIA Triton Server* con OpenVINO back-end ahora permite a los desarrolladores utilizar las Intel GPUs o NPUs para la implementación.

Obtén todos los detalles. Consulte las notas de la versión 2025.4.

Instrucciones de instalación

Puede elegir cómo instalar OpenVINO™ tiempo de ejecución desde Archive* según su sistema operativo:

• Instale OpenVINO Runtime en Linux*
• Instale OpenVINO tiempo de ejecución en Windows*
• Instalar OpenVINO tiempo de ejecución en macOS*

Qué se incluye en el paquete de descarga (archivo de archivo)

• Ofrece API de C/C++ y Python
• Adicionalmente incluye ejemplos de código

Enlaces útiles

NOTA: Los vínculos se abren en una ventana nueva.

• Página principal
• Descargar
• Toda la documentación, guías y recursos
• Cuadernos OpenVINO
• Notas
• Foro de la comunidad
• Presente un problema en GitHub*