Sentient.io démocratise l'IA avec les services cloud distribués F5

Sentient.io, un fournisseur de plateforme d'IA et de données basé à Singapour, démocratise l'accès à l'IA pour les entreprises de toutes tailles. Les services cloud distribués F5 ont contribué à rationaliser les opérations dispersées de Sentient.io, réduisant ainsi les coûts d'exploitation tout en permettant le traitement de l'IA en temps réel à la périphérie.

Défi commercial

Le parcours de Sentient.io en tant qu’innovateur en matière d’IA a été marqué par un succès remarquable. Dans la poursuite de sa vision d'autonomiser diverses industries avec des solutions d'IA transformatrices, Sentient.io cherche à fournir des informations en temps réel qui aident à prendre des décisions efficaces. Les solutions d’IA de l’entreprise révolutionnent les secteurs d’activité et permettent aux entreprises de libérer le pouvoir transformateur de l’IA. La Sentient Marketplace de l’entreprise est un centre de services d’IA innovants qui permettent aux entreprises d’intégrer facilement l’IA dans leurs flux de travail existants. La place de marché Sentient permet aux clients des pays de l'ASEAN et du Japon d'exploiter la puissance de l'IA.

Cependant, la croissance rapide et l’expansion de la clientèle ont entraîné plusieurs défis complexes, à savoir la complexité des environnements multi-cloud et les limites du traitement natif du cloud traditionnel. Les solutions individuelles des fournisseurs de cloud entraînent des défis inhérents lorsqu'elles fonctionnent avec plusieurs fournisseurs. Chacun propose par exemple une distribution Kubernetes propriétaire (GKE ou AKS), ce qui peut s'avérer intimidant pour les organisations qui doivent exploiter ces plateformes dans leurs environnements cloud respectifs.

Les défis étaient encore aggravés par la lourdeur du processus de déploiement des modèles d’IA sur les sites des clients. L’approche manuelle consistant à télécharger des modèles, à configurer des environnements Kubernetes sur site pour chaque site périphérique et à gérer les mises à jour manuellement était non seulement chronophage, mais également sujette aux erreurs, entraînant des retards et des déploiements de modèles incohérents. De plus, la synchronisation des nouveaux modèles depuis la place de marché centrale Sentient vers les sites clients était un processus très manuel qui entraînait des déficiences opérationnelles accrues sur les sites clients.

À mesure que les applications d’IA de Sentient.io ont gagné en popularité auprès des clients, ils ont pris conscience des défis liés à l’exploitation et au déploiement de ces services dans des environnements distribués : sur site, dans le cloud public et dans le cloud privé. Cela a entraîné un cycle de rentabilisation plus long pour leurs offres, avec une complexité opérationnelle accrue et une orchestration des flux de travail et des politiques de sécurité incohérentes. De plus, ils n'ont pas réussi à trouver une solution qui fonctionnerait sur n'importe quel cloud pour un déploiement et une livraison sécurisés de leurs applications d'IA. 

Solutions

Reconnaissant la nécessité d'une approche plus rationalisée et plus efficace, Sentient.io s'est associé à F5 en utilisant F5 Distributed Cloud Services pour offrir des solutions d'IA « en tant que service » clés en main et de qualité professionnelle aux clients de divers secteurs verticaux afin de libérer la puissance de l'IA pour leurs entreprises.

F5 Distributed Cloud App Stack est le service pivot qu'ils ont activé sur la plateforme pour permettre le traitement des données en temps réel à la périphérie. Distributed Cloud App Stack permet de fournir des données d'inférence localisées plus près de l'application, réduisant ainsi les dépendances aux liens Internet ou mobiles pour la récupération des données d'inférence. 

Distributed Cloud App Stack a unifié son environnement applicatif, éliminant ainsi le besoin de gérer plusieurs distributions Kubernetes et rationalisant la manière dont ils déploient et gèrent les services d'IA clés. Cette simplification a donné lieu à de nombreuses améliorations opérationnelles et a permis à Sentient.io de déployer facilement des modèles d'IA sur n'importe quel fournisseur de cloud avec une efficacité accrue. 

« Grâce à F5 Distributed Cloud App Stack, la manière dont nous fournissons l'infrastructure d'IA à nos clients a été transformée », déclare Christopher Yeo, PDG de Sentient.io. « Le traitement des données en périphérie a permis d'obtenir des informations en temps réel, permettant à nos clients de prendre des décisions instantanées et éclairées, quel que soit le volume de données ou l'endroit où ils se trouvent. « Ce changement a révolutionné notre activité, nous plaçant à l’avant-garde de l’innovation en matière d’IA. » 

À l’avenir, Sentient.io cherche également à explorer les services cloud distribués F5 pour sécuriser ses solutions LLM. « Notre expérience avec F5 nous a donné la confiance nécessaire pour explorer F5 Distributed Cloud Web Application and API Protection (WAAP) afin de sécuriser de manière globale nos services LLM et d'atténuer les menaces LLM telles que le déni de service et la divulgation d'informations sensibles », déclare Yeo.

Sentient.io est en mesure d'accélérer le délai de rentabilisation pour les entreprises à la recherche de solutions d'IA/ML innovantes avec F5. 

Résultats

Plateforme PaaS unifiée

Les services cloud distribués F5 ont éliminé le besoin de gérer plusieurs environnements cloud, simplifiant ainsi les opérations et améliorant l'efficacité. Cela a permis à Sentient.io de déployer des modèles d'IA sur plusieurs fournisseurs de cloud avec une agilité et une évolutivité accrues.

Informations en temps réel à la périphérie

La solution a rationalisé les opérations de Sentient, réduisant la latence et permettant un traitement de l’IA en temps réel à la périphérie. La fourniture d’inférences à la périphérie élimine les contraintes de réseau et de bande passante dues à la situation géographique et garantit une livraison immédiate des inférences aux applications en temps réel. Ce changement dans le déploiement du modèle a permis à Sentient.io de fournir à ses clients des applications d'IA hautement performantes avec un délai de rentabilisation plus rapide.

Distributed Cloud App Stack inclut des fonctionnalités GPU intégrées, ce qui réduit la nécessité pour Sentient de déployer des ressources GPU supplémentaires sur chaque site d'inférence.

Coûts réduits et sécurité renforcée

En rationalisant les opérations sur la plateforme Cloud distribuée, ils ont pu optimiser l’allocation des ressources et réduire les coûts opérationnels globaux. L'intégration native et la prise en charge de la sécurité des applications et des API sur la plateforme ont garanti la protection de toutes les applications d'inférence.

La collaboration a également permis de réaliser d’importantes économies. La gestion de plusieurs plates-formes cloud nécessitait des équipes dédiées et générait des coûts de ressources substantiels. Avec F5 Distributed Cloud Services, Sentient a simplifié ses opérations, réduit les coûts en optimisant les ressources et en simplifiant la gestion des applications, libérant ainsi des ressources pour des initiatives stratégiques.

Yeo déclare : « Voici ce qui se passe avec F5 Distributed Cloud Services : ce n’est pas seulement une centrale électrique pour l’IA ; c’est notre arme secrète pour la sécurité des données. Tout est une question de confiance. Avec F5, Sentient.io n’innove pas seulement, il garantit également que la confidentialité et l’intégrité des données sont à toute épreuve.

Voir tous les témoignages clients

 

Avantages
  • Des flux de travail cohérents pour orchestrer les services d'IA
  • Des opérations simplifiées pour des milliers de sites périphériques
  • Livraison sécurisée de données de formation à des fins d'inférence
  • Des délais de mise sur le marché plus rapides pour les déploiements d'IA

Défis
  • Complexité accrue sur plusieurs clouds
  • Flux de travail incohérents pour la livraison des données d'IA
  • Assurer la sécurité de l'infrastructure d'IA distribuée

Produits