Logotipo de Seekr

Seekr: Creación de LLMs confiables para evaluar y generar contenido a escala

Intel® Developer Cloud [IA en la nube Intel® Tiber™] les permite a las empresas de IA crear, entrenar e implementar soluciones innovadoras en una plataforma de aceleración de IA rentable y de vanguardia.

Resumen:

  • Seekr, nombrada por Fast Company como una de las empresas más innovadoras de 2024, está utilizando IA en la nube Intel® Tiber™ para crear, entrenar e implementar LLMs avanzados en clústeres rentables.

  • Los clústeres funcionan con el hardware y el software Intel® más recientes, incluidos los aceleradores de IA Intel® Gaudi® 2.

  • Esta colaboración estratégica para acelerar la IA le ayuda a Seekr a satisfacer su demanda cada vez mayor de capacidad informática al tiempo que reduce sus costos de nube y aumenta el desempeño de las cargas de trabajo.

  • Para una empresa de rápido crecimiento como Seekr, la capacidad de escalar soluciones de IA en una plataforma de aceleración de IA de vanguardia, como , es la clave para una IA en la nube Intel® Tiber™ innovación rápida.

author-image

Por

La creación de una marca confiable requiere una estrategia de contenido pensada. La producción de contenido y la alineación de medios deben ser seguras para la marca y adecuadas para las audiencias objetivo. Sin embargo, el enorme volumen de contenido digital y la amplia variedad de canales hacen que sea casi imposible para las empresas garantizar que lo distribuido cumpla con los estándares de marca de manera consistente.

Seekr permite resolver este problema del sector publicitario con SeekrAlign, una solución que aprovecha la tecnología patentada de puntuación y análisis para ayudarles a las marcas a encontrar el contenido en línea más adecuado y aumentar su alcance de manera responsable.

Construida, entrenada e implementada en un clúster de aceleradores de IA Intel® Gaudi® 2 de 8 nodos en la IA en la nube Intel® Tiber™, la solución de IA pionera de Seekr obtuvo rápidamente una impresionante lista de clientes intersectoriales de marcas líderes. Desde Moderna y SimpliSafe hasta Babbel, las empresas se están dando cuenta del valor que aportan las soluciones de IA para resolver los desafíos empresariales. La plataforma de aceleración de IA de IA en la nube Intel® Tiber™ está a la vanguardia de este movimiento, lo que les permite a las empresas acelerar y escalar sus estrategias de IA con clústeres rentables de hardware y software Intel® más recientes.

Desafíos y oportunidades de IA

La desinformación, las alucinaciones y el contenido inapropiado pueden erosionar rápidamente la confianza en la marca. Incluso asociarse inadvertidamente con plataformas que alojan contenido riesgoso puede poner en peligro la reputación de una marca. Por este motivo, muchas empresas revisan de cerca el contenido que distribuyen. Esta práctica consume mucho tiempo, es costosa, poco confiable y altamente subjetiva.

Un caso de uso principal son los podcasts. La popularidad de los podcasts ha crecido exponencialmente en los últimos años y, para muchas empresas, son una parte esencial de su estrategia de contenido e ingresos por publicidad. Desafortunadamente, el panorama de los podcasts ha sido especialmente difícil de navegar para las marcas, ya que, hasta ahora, no ha habido una manera confiable de evaluar episodios singulares que no sea mediante el esfuerzo humano.

SeekrAlign resuelve este desafío al permitirles a las empresas evaluar de forma rápida y exacta cientos de miles de podcasts. “Align simplifica la búsqueda de podcasts seguros y adecuados mediante la combinación de ingeniería de clase mundial con clasificaciones innovadoras y transparentes, lo que les permite a las marcas navegar con matices para que puedan hacer crecer su campaña de audio con mayor claridad, velocidad y confianza”, dijo Dan Granger, director ejecutivo de la agencia de publicidad de podcasts Oxford Road.1

El panel de control fácil de usar de Align califica el contenido de los podcasts en una escala de 0 a 100. Con base en el marco de seguridad GARM, este sistema de clasificación patentado, llamado Seekr Civility Score™, les ofrece a los agentes de comercialización y anunciantes un estándar objetivo para juzgar la seguridad y la idoneidad del contenido. “Este desafío, a esta vasta escala, solo podría haberse resuelto con la combinación de una potencia informática superior con una novedosa detección de señales”, dijo Rob Clark, presidente y director de tecnología de Seekr. “Civility Score sintetiza docenas de consideraciones en una sola métrica que les abre la puerta a más oportunidades adecuadas para las marcas y a audiencias más grandes”.2

La plataforma Align ya acumuló 20 millones de minutos de podcasts, y se proyecta que alcanzará hasta 40 millones para fines de 2024. Además, la plataforma tiene puntuaciones en tiempo real para más de 8000 episodios de podcasts, que suman más de 10 millones de minutos de audio. “Logramos demostrar que la IA, cuando se aplica de forma responsable y transparente, puede resolver desafíos empresariales reales junto con el desarrollo y avance de esta tecnología”, dijo Clark. “Espero que podamos aprovechar este éxito a través de la innovación continua, que incluye el desarrollo de LLMs avanzados que permitan resolver algunos de los problemas sociales más complejos e impulsar el crecimiento empresarial con una velocidad y exactitud increíbles”.3

Oferta de alto desempeño con costos informáticos de la nube reducidos

Los sofisticados requisitos de cargas de trabajo de IA de Seekr exigen una inmensa capacidad informática. Históricamente, esta potencia informática requeriría una gran inversión en infraestructura y supondría costos de nube considerables. Pero con IA en la nube Intel® Tiber™, Seekr puede tener acceso a hardware y software Intel® de vanguardia por una fracción del precio. Para una empresa de rápido crecimiento como Seekr, la capacidad de conservar el capital y aumentar los ingresos, a la vez que accede a la tecnología de aceleración de IA más reciente, es una propuesta increíblemente atractiva.

“Esta colaboración estratégica con Intel le permite a Seekr crear modelos básicos al mejor precio y desempeño mediante una supercomputadora con miles de los últimos chips Intel® Gaudi®, todo respaldado por interconectividad de alto ancho de banda”, dijo Clark. Los productos de IA confiables de Seekr, combinados con IA en la nube Intel® Tiber™ —y su enfoque de ‘IA primero’—, reducen los errores y sesgos para que las organizaciones de todos los tamaños puedan acceder a los LLMs y modelos básicos confiables a fin de aumentar la productividad y alimentar la innovación, que se ejecutan en hardware confiable”.

“Esta colaboración estratégica con Intel le permite a Seekr crear modelos básicos al mejor precio y desempeño mediante una supercomputadora con miles de los últimos chips Intel® Gaudi®…”

Soluciones de IA flexibles que brindan resultados confiables

SeekrFlow, un conjunto integral de herramientas de desarrollo de LLMs centrado en la creación modelos alineados con principios, y que usa canales escalables y componibles, es la base de esta solución innovadora. SeekrFlow se creó para otorgar la máxima eficiencia y flexibilidad, y les permite a los desarrolladores entrenar y construir LLMs a través de flujos de trabajo escalables y componibles. Todo el canal de LLM se administra con una API y se puede adaptar con componentes personalizados. Las especificaciones de gráficos informáticos, como los recursos y las dependencias, son flexibles, lo que permite innumerables opciones de configuración.

El flujo de trabajo de SeekrFlow se compila en un ejecutable versionado, repetible y reproducible. También integra algoritmos de alineación robustos para garantizar que el comportamiento del LLM cumpla con los estándares, intenciones, reglas o valores prescritos. Estos LLMs también se benefician del robusto canal de inferencia de la empresa, lo que permite que la plataforma transcriba, registre y clasifique audio a escala. Una vez optimizados, estos LLMs personalizados se canalizan a Seekr Align, una plataforma fácil de usar, donde se emplean para proporcionar evaluaciones rápidas y exactas del contenido digital.

Implementación de Seekr en IA en la nube Intel® Tiber™

Seekr había estado usando un proveedor de colocación regional para alojar una flota de servidores de sistemas habilitados por GPU y CPU. La infraestructura informática autogestionada se dedica al desarrollo de modelos multimodales y LLMs, y es compatible con Seekr Align.

Con el aumento de los clientes y el creciente tamaño de las implementaciones de LLMs, Seekr buscó un proveedor de servicios en la nube que le ayude a escalar sus operaciones a través de un precio y desempeño mejores. Después de ajustar y realizar análisis de referencia de inferencia de los LLMs en Intel® Gaudi® 2, Seekr decidió aprovechar IA en la nube Intel® Tiber™ como su infraestructura informática preferida para el desarrollo y la implementación de asistencia de producción de LLMs.

Las figuras 1 a 3 muestran el desempeño obtenido mediante las optimizaciones de software y con el uso del entorno de IA en la nube Intel® Tiber™.

Figura 1: Puesta a punto del LLM de Seekr con las APIs Hugging Face, Optimum Habana y Habana PyTorch. Fuente: Seekr. Intel no controla ni audita los datos de terceros. Debería consultar otras fuentes para evaluar la exactitud.

Figura 2: Inferencia del LLM de Seekr con las APIs Hugging Face, Optimum Habana y Habana PyTorch. Fuente: Seekr. Intel no controla ni audita los datos de terceros. Debería consultar otras fuentes para evaluar la exactitud.

Figura 3: Inferencia del LLM de Seekr con las APIs Hugging Face, Optimum Habana y Habana PyTorch. Fuente: Seekr. Intel no controla ni audita los datos de terceros. Debería consultar otras fuentes para evaluar la exactitud.

Seekr planea una implementación por fases para migrar la plataforma de soluciones de la empresa a IA en la nube Intel® Tiber™ Con el fin de ajustar el costo y desempeño de la implementación de las cargas de trabajo de aplicaciones, está usando varias instancias informáticas optimizadas por IA en nuestra nube, que incluyen lo siguiente:

  • Aceleradores Intel® Gaudi® 2: El modelo LLM de 7B que impulsa la solución SeekrAlign se implementa en un clúster de sistemas Intel® Gaudi® 2 para realizar categorización de contenido sensible y evaluaciones de riesgo.
  • Intel® Data Center GPU serie Max 1550: Seekr utiliza Intel® Extensions for PyTorch* para el procesamiento de transcripción y registro diario en un clúster de sistemas equipados con GPUs Intel®.
  • Procesadores escalables Intel® Xeon®: La empresa usa un clúster de sistemas habilitados por CPUs Intel® Xeon® de 4ᵃ Generación para la supervisión de aplicaciones, la gestión del almacenamiento y los servicios de bases de datos vectoriales y de índice invertido. Estos admiten los servicios de generación aumentada por recuperación de Seekr y SeekrFlow en la construcción de LLMs alineados con principios mediante canales escalables y componibles.
  • Los planes incluyen el uso de procesadores escalables Intel® Xeon® de 5ᵃ Generación más adelante este año.

Como dijo Stefanos Poulis, jefe de investigación y desarrollo de IA de Seekr: “La colaboración entre Seekr e Intel ofrece nuevas capacidades de ejecución de IA en informática híbrida. Las GPUs Intel® y los chips Intel® Gaudi® 2 se aprovechan para entrenar y servir a escala, en transformadores medianos y de gran tamaño. Vimos un mejor desempeño en el entrenamiento e inferencia de modelos en comparación con otros chips del mercado. Específicamente en la inferencia de LLM, la gran capacidad de memoria de las HPUs y GPUs Intel® nos ha permitido ajustar parámetros específicos de carga de trabajo, como los tamaños de lotes. En cuanto al software, las diversas extensiones de Intel nos permitieron trasladar nuestra pila de aprendizaje automático al hardware Intel® sin problemas”.

Como parte de la siguiente fase de integración de , Seekr planea aprovechar IA en la nube Intel® Tiber™ los clústeres a gran escala Intel® Gaudi® 2 con el Intel® Kubernetes Service para entrenar su modelo básico de LLM y agregar capacidad informática de CPU y GPU a fin de aumentar su oferta de servicios de IA confiable.

SimpliSafe® llega a una audiencia de seguridad doméstica más amplia y personalizada con la solución de LLM de Seekr: SeekrAlign

SimpliSafe® es una solución galardonada de seguridad para el hogar con la misión de “hacer que cada hogar sea seguro” al proporcionarles a sus clientes la mejor y más reciente tecnología. La empresa se enorgullece de ser pionera en la cambiante industria de los hogares inteligentes, sentimiento que se transmite a sus funciones empresariales de apoyo, incluidas las pruebas de tecnología de marketing emergente que sirve para ampliar el alcance de mercado de la empresa de manera cuidadosa y eficiente. Además, crear y mantener la confianza del cliente es fundamental para la estrategia de expansión de la base de clientes de SimpliSafe. La empresa no solo hace esto a través de sus productos y servicios innovadores, sino también mediante sus prácticas publicitarias cuidadosas.

SimpliSafe utiliza SeekrAlign para llegar a los clientes potenciales en el momento adecuado a través de los canales de contenido adecuados. Con SeekrAlign, SimpliSafe tiene acceso a puntuaciones de contenido de miles de podcasts en tiempo real y puede aislar el contexto a nivel de conversación. Las capacidades de análisis de contenido impulsadas por los LLMs de Seekr van más allá de todo lo disponible en el mercado actual y le ayudan a SimpliSafe a descubrir contenido adecuado para la marca con el fin de llegar a audiencias relevantes.

“Como marca impulsada por la confianza y la seguridad, era importante para nosotros encontrar una solución que compartiera los valores de SimpliSafe. Seekr, con tecnología Intel® Developer Cloud [IA en la nube Intel® Tiber™], es precisamente esa plataforma, ya que nos permite abordar el problema de escala de la supervisión de podcasts de manera cuidadosa, y garantizar que los espacios donde anunciemos coincidan con los perfiles de nuestros clientes. Con Seekr, podemos encontrar podcasts seguros para las marcas a través de los cuales podamos llegar a las audiencias adecuadas y, en última instancia, presentarles las soluciones de seguridad para el hogar de SimpliSafe a más propietarios de viviendas”.
—Nicholas Giorgio, director de captación de clientes, SimpliSafe

Más información

Acerca del programa Intel® Liftoff para empresas emergentes

Intel® Liftoff es un programa virtual gratuito que ayuda a las empresas emergentes de IA y aprendizaje automático, en su etapa inicial, a innovar y escalar. Lanzado por Intel en 2022, este programa de aprendizaje autodirigido faculta a las empresas emergentes para eliminar las barreras de código, aumentar el desempeño y transformar sus ideas en empresas de IA escalables y claves para la industria.

4