Sentient.io democratiza la IA con los servicios de nube distribuida de F5

Sentient.io, un proveedor de plataformas de datos e inteligencia artificial con sede en Singapur, está democratizando el acceso a la IA para empresas de todos los tamaños. Los servicios de nube distribuida de F5 ayudaron a optimizar las operaciones dispersas de Sentient.io, reduciendo los costos operativos y potenciando el procesamiento de IA en tiempo real en el borde.

Desafío empresarial

La trayectoria de Sentient.io como innovador en IA ha estado marcada por un éxito notable. En pos de su visión de empoderar a diversas industrias con soluciones de IA transformadoras, Sentient.io busca brindar información en tiempo real que ayude a impulsar una toma de decisiones efectiva. Las soluciones de IA de la compañía están revolucionando las industrias, permitiendo a las empresas aprovechar el poder transformador de la IA. Sentient Marketplace es un centro de servicios innovadores de IA que permite a las empresas integrar fácilmente la IA en sus flujos de trabajo. Sentient Marketplace permite a los clientes de los países de la ASEAN y Japón aprovechar el poder de la IA.

Sin embargo, el rápido crecimiento y la expansión de la base de clientes trajeron consigo varios desafíos complejos, a saber, la complejidad de los entornos multicloud y las limitaciones del procesamiento nativo de la nube tradicional. Las soluciones de proveedores de nube individuales traen consigo desafíos inherentes cuando se opera con múltiples proveedores. Cada uno ofrece una distribución de Kubernetes propietaria, por ejemplo (GKE o AKS), lo que puede resultar desalentador para las organizaciones que necesitan aprovechar estas plataformas en sus respectivos entornos de nube.

Otro factor que agravó los desafíos fue el engorroso proceso de implementación de modelos de IA en las instalaciones de los clientes. El enfoque manual de descargar modelos, configurar entornos de Kubernetes locales para cada sitio de borde y manejar actualizaciones manualmente no solo consumía mucho tiempo sino que también era propenso a errores, lo que generaba demoras e implementaciones de modelos inconsistentes. Además, sincronizar nuevos modelos desde el Sentient Marketplace central a los sitios de los clientes era un proceso muy manual que generaba mayores deficiencias operativas en los sitios de los clientes.

A medida que las aplicações de inteligencia artificial de Sentient.io ganaron terreno entre los clientes, estos se dieron cuenta de los desafíos de operar e implementar estos servicios en entornos distribuidos (locales, en la nube pública y en la nube privada). Esto resultó en un ciclo de valorización más largo para sus ofertas con una mayor complejidad operativa y políticas de seguridad y orquestación del flujo de trabajo inconsistentes. Además, no pudieron encontrar una solución que funcionara en cualquier nube para la implementación y entrega segura de sus aplicações de IA. 

Soluciones

Al reconocer la necesidad de un enfoque más optimizado y eficiente, Sentient.io se asoció con F5 utilizando F5 Distributed Cloud Services para ofrecer soluciones de IA "como servicio" llave en mano y de nivel empresarial a clientes de una variedad de verticales para liberar el poder de la IA para sus negocios.

F5 Distributed Cloud App Stack es el servicio fundamental que habilitaron en la plataforma para permitir el procesamiento de datos en tiempo real en el borde. Distributed Cloud App Stack permite entregar datos de inferencia localizados más cerca de la aplicação, lo que reduce las dependencias de enlaces móviles o basados ​​en Internet para la recuperación de datos de inferencia. 

Distributed Cloud App Stack unificó su entorno de aplicação , eliminando la necesidad de administrar múltiples distribuciones de Kubernetes y agilizando la forma en que implementan y administran servicios de IA clave. Esta simplificación resultó en muchas mejoras operativas y permitió a Sentient.io implementar fácilmente modelos de IA en cualquier proveedor de nube con mayor eficiencia. 

“Gracias a F5 Distributed Cloud App Stack, la forma en que brindamos infraestructura de IA a nuestros clientes se ha transformado”, afirma Christopher Yeo, director ejecutivo de Sentient.io. “El procesamiento de datos en el borde ha permitido obtener información en tiempo real, lo que permite a nuestros clientes tomar decisiones instantáneas e informadas, sin importar el volumen de datos o dónde se encuentren. Este cambio ha revolucionado nuestro negocio, colocándonos a la vanguardia de la innovación en IA”. 

En el futuro, Sentient.io también busca explorar F5 Distributed Cloud Services para proteger sus soluciones LLM. “Nuestra experiencia con F5 nos ha dado la confianza para explorar F5 Distributed Cloud Web Aplicação and API Protection (WAAP) para proteger de manera integral nuestros servicios LLM y mitigar las amenazas LLM, como la denegación de servicio y la divulgación de información confidencial”, afirma Yeo.

Sentient.io puede acelerar el tiempo de obtención de valor para las empresas que buscan soluciones innovadoras de IA/ML con F5. 

Resultados

Plataforma PaaS unificada

F5 Distributed Cloud Services eliminó la necesidad de administrar múltiples entornos de nube, simplificando las operaciones y mejorando la eficiencia. Esto permitió a Sentient.io implementar modelos de IA en múltiples proveedores de nube con mayor agilidad y escalabilidad.

Información en tiempo real en el borde

La solución agilizó las operaciones de Sentient, reduciendo la latencia y permitiendo el procesamiento de IA en tiempo real en el borde. La entrega de inferencia en el borde elimina las restricciones de red y ancho de banda debido a la ubicación geográfica y garantiza la entrega inmediata de inferencia a las aplicações en tiempo real. Este cambio en la implementación del modelo permitió a Sentient.io ofrecer aplicações de IA de alto rendimiento a sus clientes con un tiempo de obtención de valor más rápido.

Distributed Cloud App Stack incluye capacidades de GPU integradas, lo que reduce la necesidad de que Sentient implemente recursos de GPU adicionales en cada sitio de inferencia.

Reducción de costes y mayor seguridad

Al agilizar las operaciones en la plataforma de nube distribuida, pudieron optimizar la asignación de recursos y reducir los costos operativos generales. La integración nativa y el soporte para la seguridad de aplicação y API en la plataforma garantizaron que todas las aplicaciones de inferencia estuvieran protegidas.

La colaboración también produjo importantes ahorros de costes. La gestión de múltiples plataformas en la nube requirió equipos dedicados y generó costos de recursos sustanciales. Con F5 Distributed Cloud Services, Sentient simplificó las operaciones, reduciendo costos al optimizar recursos y simplificando la gestión de aplicaciones, liberando recursos para iniciativas estratégicas.

Yeo dice: “Lo importante sobre F5 Distributed Cloud Services es que no es solo una potencia para la IA; es nuestra arma secreta para la seguridad de datos. Todo es cuestión de confianza. Con F5, Sentient.io no solo innova, sino que también garantiza que la privacidad e integridad de los datos sean sólidas.

Ver todas las historias de clientes

 

Ventajas
  • Flujos de trabajo consistentes para orquestar servicios de IA
  • Operaciones simplificadas para miles de sitios perimetrales
  • Entrega segura de datos de entrenamiento para fines de inferencia
  • Tiempos de comercialización más rápidos para las implementaciones de IA

Retos
  • Mayor complejidad en múltiples nubes
  • Flujos de trabajo inconsistentes para la entrega de datos de IA
  • Garantizar la seguridad de la infraestructura de IA distribuida

Productos