Cómo construir, ejecutar y administrar analítica de datos escalables y la IA para la empresa

En la segunda parte de nuestra miniserie centrada en la construcción de un flujo de trabajo de analítica de datos, examinamos cómo el desarrollo del proceso de datos puede desbloquear el valor real de la empresa.

Puntos clave

  • Para que las empresas de FSI realmente liberen el valor de la IA y la analítica, deben encontrar la manera de operacionalizar los datos a escala.

  • Tomar un enfoque de DataOps y ModelOps permitirá a las empresas de FSI crear IA y analítica ágiles y automatizadas que puedan administrarse, monitorearse y cumplir con las normas al mismo tiempo.

  • La automatización del proceso será la clave para desarrollar una plataforma escalable que soporte a cientos de proyectos de IA y analítica, y , por último, lleve a la extracción de valor comercial real del volumen masivo de datos empresariales.

author-image

Por

El desafío clave es cómo proporcionar una plataforma escalable que pueda proporcionar IA o analítica avanzada en toda la empresa.

La Inteligencia Artificial (IA) y la analítica avanzada están ayudando a transformar la Industria de Servicios Financieros (FSI) en la era digital. Muchas organizaciones ya están haciendo uso de estas tecnologías en una amplia gama de aplicaciones, desde la gestión de riesgos, la prevención del fraude y el comercio de alta frecuencia hasta la automatización de procesos robóticos y la personalización de la experiencia del cliente.

Las organizaciones financieras siempre han estado a la vanguardia de la tecnología debido a la naturaleza de sus negocios. Son conocidas por adoptar tecnología más reciente mucho antes que otras industrias. Sin embargo, con el progreso pueden surgir barreras y el mundo financiero ha alcanzado el desafío de cómo hacer frente a la IA escalable y la analítica avanzada mucho antes que otros sectores.

“El desafío clave es cómo proporcionar una plataforma escalable que pueda proporcionar IA o analítica avanzada en toda la empresa”, dijo Parviz Peiravi, Director Técnico/Ingeniero Principal de la Industria de Servicios Financieros de Intel. “El valor de la IA y la analítica solo puede ser desbloqueado si las organizaciones descubren cómo operacionalizar los datos a escala”.

 

Preparación y extracción de datos

El primer paso es el descubrimiento de datos, pero una vez que los datos están en su lugar, ¿qué sigue? Las empresas deben decidir cómo desarrollar este proceso para obtener una visión comercial real de la inteligencia artificial y la analítica.

Después del descubrimiento de los datos, el segundo paso del proceso es decidir qué tipo de datos usar, y qué características son importantes para cada modelo de IA o analítica. Basándose en el caso de uso y el modelo necesario, se pueden elegir las características relevantes de los datos. Luego, hay que averiguar cómo extraer estas características de los datos en bruto y cómo dividirlos en conjuntos de datos de entrenamiento y pruebas utilizables.

El tercer paso es el diseño de selección de características y la extracción de patrones. Los silos de datos son comunes y si los conjuntos de datos provienen de diferentes fuentes, algunas de las características pueden faltar, por lo que es necesario averiguar cómo llenar esos vacíos. La extracción de patrones se lleva a cabo entonces para identificar patrones característicos dentro de los datos para determinar lo que el modelo va a explorar. En el cuarto paso, los datos se transforman en un conjunto de trabajo con el fin de poder alimentar directamente el algoritmo para generar el modelo. Todo esto forma parte del proceso de preparación de los datos. Para desarrollar una IA o un modelo analítico utilizable, estos pasos adicionales son vitales después de la recopilación inicial de datos y el procesamiento previo. 

Estos pasos de preparación de datos suelen ser manuales. Hoy en día, hay algunos aspectos del proceso que han sido automatizados, pero el desafío de cómo automatizar completamente el proceso de selección de características es un tema candente. Esto es especialmente difícil ya que los modelos, por lo general, requieren miles de características. Como resultado, la construcción de una infraestructura que pueda apoyar la preparación de datos automatizados para el desarrollo de modelos es un enfoque clave en este momento. Este proceso de preparación de datos es todo parte del enfoque de flujo de trabajo de DataOps.

 

Análisis y desarrollo de modelos

Una vez completada la etapa de preparación de datos, pasamos al quinto paso: el desarrollo del modelo, donde el modelo se entrena con el conjunto de datos. Después del desarrollo, cada modelo debe probarse y evaluarse. El siguiente desafío es cómo ponerlo en producción. Para una empresa con cientos de estos modelos, esto significa cientos de procesos de datos.

En el sexto paso, se estudia cómo operacionalizar cientos de modelos. Las empresas no solo tienen que garantizar la exactitud de los modelos, sino que también tienen que asegurarse de que sean explicables y de que cumplan con las normas. Estos modelos deben ser supervisados constantemente para poder evaluar su nivel de rendimiento y precisión, según los requisitos.

“A medida que los datos cambian con el tiempo, el comportamiento del modelo puede cambiar también, lo que podría producir resultados inexactos”, Peiravi. “Esto se conoce como desviación del modelo, otro aspecto del proceso que debe ser administrado. Y con miles de modelos que administrar, es vital que las empresas sepan cómo encontrarlos. Se necesitan repositorios y registros para que un modelo certificado y registrado pueda funcionar en un entorno de producción, similar al concepto de “imagen dorada” de las máquinas virtuales que se ha utilizado en la TI durante años”.

Este enfoque de ModelOps evalúa cómo las empresas pueden operacionalizar un modelo desde la etapa en que este es desarrollado por los científicos de datos hasta el punto en que se entrega al equipo operativo de TI para ejecutarlo en producción. Los ModelOps y DataOps son clave para construir, ejecutar y administrar la IA escalable y la analítica para la empresa, mediante un proceso de CI/CD.

“Lo que estamos tratando de hacer aquí es aplicar una filosofía de desarrollo de software, herramientas y procesos para el desarrollo de modelos y el desarrollo de procesos de datos”, dijo Peiravi.

Los desafíos de operacionalizar la IA y la analítica a escala

Este proceso aún está lejos de ser fluido, ya que las organizaciones se enfrentan a una serie de obstáculos que les impiden operacionalizar de forma exitosa los proyectos de IA. Alrededor del 47% de los encuestados mencionan la dificultad en la implementación de procesos y aplicaciones empresariales como el principal obstáculo para ofrecer valor empresarial, según un informe de Gartner1. Las otras barreras más comunes que se mencionaron fueron la resistencia cultural, la falta de un proceso de DevOps, las habilidades pertinentes y la incapacidad de asegurar o gobernar adecuadamente los datos y los insumos o productos analíticos. De acuerdo al informe, otros obstáculos clave incluyen la planificación deficiente, la falta de apoyo ejecutivo y de financiamiento, y la incapacidad de abordar las cuestiones de calidad e integridad de los datos.

Las organizaciones también parecen tener problemas para trabajar en la colaboración de los pasos necesarios importantes para desarrollar modelos analíticos y de IA, según la investigación del TDWI2. Se le pidió a los participantes que calificaran el grado de colaboración de las partes interesadas de su organización para completar los pasos clave en los ciclos de vida de los proyectos de IA y analítica. Los resultados mostraron que eran más fuertes en la identificación de fuentes de datos relevantes y en la identificación de oportunidades para lograr beneficios comerciales. Sin embargo, solo un porcentaje muy pequeño calificó a sus organizaciones como “excelente”, mientras que menos de la mitad (42%) dio una calificación alta a la colaboración en el desarrollo y la prueba de modelos analíticos.

La superación de estos desafíos será vital para la administración de datos escalables y la IA en el futuro. Las organizaciones también deben contar con una infraestructura subyacente adecuada. Intel está proporcionando la tecnología fundamental para permitir que las empresas de FSI construyan una plataforma sólida y escalable, incluyendo todo, desde las tecnologías de redes y almacenamiento hasta la infraestructura informática y las tecnologías de memoria. Intel también ofrece tecnología específica para la IA y analítica avanzada, como marcos optimizados, bibliotecas y herramientas para soluciones de código abierto y disponibles en el mercado.

“La tecnología de Intel cubre las cuatro capas cruciales necesarias para la IA y la analítica avanzada:

infraestructura de hardware, software de sistemas, marcos y aplicaciones”, dijo Peiravi. “Esto permite que las empresas de FSI construyan una plataforma escalable para ofrecer diferentes capacidades necesarias para diferentes proyectos”. Además, Intel trabaja continuamente con un gran número de socios del ecosistema para lanzar nuevas tecnologías que aborden los desafíos cada vez mayores de la analítica avanzada y la IA para la industria de servicios financieros.

A fin de aprovechar todo el potencial de la IA y la analítica avanzada, es muy posible que las organizaciones necesiten alejarse del proceso que utilizaron en el pasado. El desafío de operacionalizar la analítica avanzada y la IA a escala exige un nuevo enfoque. La adopción de un enfoque de DataOps y ModelOps permitirá a las empresas de FSI crear modelos ágiles y automatizados de analítica y de IA que pueden implementarse de forma rentable en un proceso escalable y administrado de acuerdo con la política y la regulación internas. Esto permitirá a las organizaciones mejorar su toma de decisiones basada en los datos, lo que resultará en un valor empresarial real. Aunque este enfoque es un concepto relativamente nuevo todavía, es algo que probablemente será adoptado a una escala mucho más amplia por las empresas del sector financiero y más allá en los próximos meses y años.

En caso de que no lo haya visto, consulte la Parte 1, Datos unificados: Su empresa necesita una casa perfectamente conectada, no cuatro edificios al azar, para saber más sobre la fase inicial de descubrimiento de datos y el desafío de unificar los datos.

Información sobre productos y desempeño

1 Cómo operacionalizar los proyectos de aprendizaje automático y de ciencia de los datos: https://www.gartner.com/en/documents/3880054/how-to-operationalize-machine-learning-and-data-science-
2Informe sobre las mejores prácticas según el TDWI: Una visión más rápida a partir de datos más rápidos: https://tdwi.org/whitepapers/2020/04/data-all-sas-tdwi-bpr-faster-insights-from-faster-data.aspx