Sentient.io demokratisiert KI mit F5 Distributed Cloud Services
Sentient.io, ein in Singapur ansässiger Anbieter von KI- und Datenplattformen, demokratisiert den Zugang zu KI für Unternehmen jeder Größe. Mithilfe der F5 Distributed Cloud Services konnten die verteilten Betriebsabläufe von Sentient.io optimiert werden, wodurch die Betriebskosten gesenkt und gleichzeitig die Echtzeit-KI-Verarbeitung am Edge ermöglicht wurde.
Geschäftliche Herausforderung
Der Weg von Sentient.io als KI-Innovator war von bemerkenswertem Erfolg geprägt. Im Rahmen seiner Vision, vielfältige Branchen durch bahnbrechende KI-Lösungen zu unterstützen, möchte Sentient.io Echtzeiteinblicke liefern, die eine effektive Entscheidungsfindung ermöglichen. Die KI-Lösungen des Unternehmens revolutionieren ganze Branchen und ermöglichen es Unternehmen, die transformative Kraft der KI zu entfesseln. Der Sentient Marketplace des Unternehmens ist ein Knotenpunkt für innovative KI-Dienste, mit denen Unternehmen KI problemlos in ihre bestehenden Arbeitsabläufe integrieren können. Der Sentient Marketplace ermöglicht es Kunden in den ASEAN-Ländern und Japan, die Leistungsfähigkeit künstlicher Intelligenz zu nutzen.
Das schnelle Wachstum und die wachsende Kundenbasis brachten jedoch mehrere komplexe Herausforderungen mit sich, nämlich die Komplexität von Multi-Cloud-Umgebungen und die Einschränkungen der herkömmlichen Cloud-native-Verarbeitung. Der Betrieb einzelner Cloud-Anbieter-Lösungen über mehrere Anbieter hinweg bringt inhärente Herausforderungen mit sich. Jedes bietet beispielsweise eine proprietäre Kubernetes-Distribution (GKE oder AKS), was für Unternehmen, die diese Plattformen in ihren jeweiligen Cloud-Umgebungen nutzen müssen, eine entmutigende Herausforderung darstellen kann.
Die Herausforderungen wurden zusätzlich durch den umständlichen Bereitstellungsprozess der KI-Modelle beim Kunden verschärft. Der manuelle Ansatz zum Herunterladen von Modellen, zum Einrichten lokaler Kubernetes-Umgebungen für jede Edge-Site und zum manuellen Verarbeiten von Updates war nicht nur zeitaufwändig, sondern auch fehleranfällig, was zu Verzögerungen und inkonsistenten Modellbereitstellungen führte. Darüber hinaus war die Synchronisierung neuer Modelle vom zentralen Sentient Marketplace mit den Kundenstandorten ein stark manueller Prozess, der zu vermehrten Betriebsmängeln an allen Kundenstandorten führte.
Als die KI-Anwendungen von Sentient.io bei den Kunden immer mehr Anklang fanden, erkannten diese die Herausforderungen, die mit dem Betrieb und der Bereitstellung dieser Dienste in verteilten Umgebungen (vor Ort, in der öffentlichen Cloud und in der privaten Cloud) verbunden sind. Dies führte zu einem längeren Time-to-Value-Zyklus für ihre Angebote mit erhöhter Betriebskomplexität und inkonsistenter Workflow-Orchestrierung und Sicherheitsrichtlinien. Darüber hinaus konnten sie keine Lösung finden, die in jeder Cloud funktionierte und die sichere Bereitstellung und Auslieferung ihrer KI-Anwendungen ermöglichte.
Lösungen
Sentient.io hat die Notwendigkeit eines rationalisierteren und effizienteren Ansatzes erkannt und ist eine Partnerschaft mit F5 eingegangen. Unter Verwendung der F5 Distributed Cloud Services bietet das Unternehmen Kunden aus verschiedensten Branchen schlüsselfertige KI-Lösungen „as a Service“ auf Unternehmensebene an, um das Potenzial von KI für ihre Unternehmen zu erschließen.
F5 Distributed Cloud App Stack ist der zentrale Dienst, den sie auf der Plattform aktiviert haben, um eine Echtzeit-Datenverarbeitung am Edge zu ermöglichen. Der verteilte Cloud App Stack ermöglicht die Bereitstellung lokalisierter Inferenzdaten näher an der Anwendung und reduziert so die Abhängigkeit von internetbasierten oder mobilen Links zum Abrufen der Inferenzdaten.
Distributed Cloud App Stack vereinheitlichte ihre Anwendungsumgebung, sodass die Verwaltung mehrerer Kubernetes-Verteilungen nicht mehr erforderlich war und die Bereitstellung und Verwaltung wichtiger KI-Dienste optimiert werden konnte. Diese Vereinfachung führte zu vielen betrieblichen Verbesserungen und ermöglichte es Sentient.io, KI-Modelle problemlos und mit höherer Effizienz bei allen Cloud-Anbietern bereitzustellen.
„Dank F5 Distributed Cloud App Stack hat sich die Art und Weise, wie wir unseren Kunden KI-Infrastruktur bereitstellen, verändert“, sagt Christopher Yeo, CEO von Sentient.io. „Die Verarbeitung von Daten am Rand hat Echtzeiteinblicke ermöglicht und ermöglicht es unseren Kunden, sofortige, fundierte Entscheidungen zu treffen – unabhängig vom Datenvolumen und ihrem Standort. Dieser Wandel hat unser Geschäft revolutioniert und uns an die Spitze der KI-Innovation gebracht.“
In Zukunft möchte Sentient.io auch die F5 Distributed Cloud Services erkunden, um seine LLM-Lösungen zu sichern. „Unsere Erfahrung mit F5 hat uns das Vertrauen gegeben, F5 Distributed Cloud Web Application and API Protection (WAAP) zu erkunden, um unsere LLM-Dienste ganzheitlich zu sichern und LLM-Bedrohungen wie Denial-of-Service und die Offenlegung vertraulicher Informationen einzudämmen“, sagt Yeo.
Sentient.io kann mit F5 die Time-to-Value für Unternehmen beschleunigen, die nach innovativen KI-/ML-Lösungen suchen.
Ergebnisse
Einheitliche PaaS-Plattform
Mit den F5 Distributed Cloud Services ist es nicht mehr nötig, mehrere Cloud-Umgebungen zu verwalten. Das vereinfacht den Betrieb und verbessert die Effizienz. Dadurch konnte Sentient.io KI-Modelle bei mehreren Cloud-Anbietern mit erhöhter Agilität und Skalierbarkeit einsetzen.
Echtzeit-Einblicke am Rand
Die Lösung rationalisierte die Betriebsabläufe von Sentient, reduzierte die Latenz und ermöglichte die Echtzeit-KI-Verarbeitung am Edge. Durch die Bereitstellung von Inferenzen am Edge werden Netzwerk- und Bandbreitenbeschränkungen aufgrund des geografischen Standorts eliminiert und eine sofortige Bereitstellung von Inferenzen für Anwendungen in Echtzeit gewährleistet. Durch diese Änderung bei der Modellbereitstellung konnte Sentient.io seinen Kunden schneller leistungsstarke KI-Anwendungen liefern.
Der Distributed Cloud App Stack umfasst integrierte GPU-Funktionen, wodurch Sentient weniger zusätzliche GPU-Ressourcen an allen Inferenz-Sites bereitstellen muss.
Geringere Kosten und erhöhte Sicherheit
Durch die Rationalisierung der Abläufe auf der Distributed Cloud Platform konnten sie die Ressourcenzuweisung optimieren und die Gesamtbetriebskosten senken. Durch native Integration und Unterstützung der Anwendungs- und API-Sicherheit auf der Plattform wurde sichergestellt, dass alle Inferenz-Apps geschützt waren.
Die Zusammenarbeit brachte auch erhebliche Kosteneinsparungen. Die Verwaltung mehrerer Cloud-Plattformen erforderte dedizierte Teams und verursachte erhebliche Ressourcenkosten. Mit F5 Distributed Cloud Services vereinfachte Sentient den Betrieb, senkte die Kosten durch Ressourcenoptimierung und vereinfachte das Anwendungsmanagement und gab so Ressourcen für strategische Initiativen frei.
Yeo sagt: „Das ist die Sache mit den F5 Distributed Cloud Services – sie sind nicht nur ein Kraftwerk für KI; sie sind unsere Geheimwaffe für die Datensicherheit. Es geht alles um Vertrauen. Mit F5 schafft Sentient.io nicht nur Innovationen, sondern stellt auch sicher, dass Datenschutz und -integrität absolut gewährleistet sind.“
Alle Kundengeschichten ansehen
- Einheitliche Workflows für die Orchestrierung von KI-Diensten
- Vereinfachter Betrieb für Tausende von Edge-Sites
- Sichere Bereitstellung von Trainingsdaten für Inferenzzwecke
- Schnellere Markteinführung von KI-Implementierungen
- Erhöhte Komplexität über mehrere Clouds hinweg
- Inkonsistente Workflows für die Bereitstellung von KI-Daten
- Gewährleistung der Sicherheit einer verteilten KI-Infrastruktur