Skalieren, sichern und überwachen Sie KI-/ML-Workloads in Kubernetes mit Ingress-Controllern

KI- und maschinelles Lernen (KI/ML)-Workloads revolutionieren die Arbeitsweise und Innovation von Unternehmen. Kubernetes , der De-facto-Standard für die Orchestrierung und Verwaltung von Containern, ist die Plattform der Wahl für die Bereitstellung skalierbarer LLM-Workloads (Large Language Model) und Inferenzmodelle in hybriden Multi-Cloud-Umgebungen.

In Kubernetes spielen Ingress-Controller eine entscheidende Rolle bei der Bereitstellung und Sicherung containerisierter Anwendungen. Sie werden am Rand eines Kubernetes-Clusters bereitgestellt und dienen als zentraler Punkt für die Kommunikation zwischen Benutzern und Anwendungen.

In diesem Blog untersuchen wir, wie Ingress-Controller und der F5 NGINX Connectivity Stack für Kubernetes dazu beitragen können, die Modellbereitstellung, das Experimentieren, die Überwachung und die Sicherheit für KI/ML-Workloads zu vereinfachen und zu optimieren.

Einsatz von KI-/ML-Modellen in der Produktion im großen Maßstab

Beim Bereitstellen von KI-/ML-Modellen im großen Maßstab können Ihnen die sofort einsatzbereiten Funktionen und Fähigkeiten von Kubernetes helfen:

• Beschleunigen und vereinfachen Sie den Release-Lebenszyklus von KI/ML-Anwendungen.
• Aktivieren Sie die Portabilität von KI/ML-Workloads zwischen verschiedenen Umgebungen.
• Verbessern Sie die Effizienz und Wirtschaftlichkeit der Nutzung von Rechenressourcen.
• Sorgen Sie für Skalierbarkeit und erreichen Sie die Produktionsbereitschaft.
• Optimieren Sie die Umgebung, um geschäftliche SLAs einzuhalten.

Gleichzeitig stehen Unternehmen möglicherweise vor Herausforderungen bei der Bereitstellung, Erprobung, Überwachung und Sicherung von KI-/ML-Modellen in der Produktion im großen Maßstab:

• Aufgrund der zunehmenden Komplexität und der zunehmenden Anzahl an Tools fällt es Unternehmen schwer, Kubernetes-Umgebungen vor Ort, in der Cloud und am Edge zu konfigurieren, zu betreiben, zu verwalten, zu automatisieren und Fehler zu beheben.
• Schlechtes Benutzererlebnis aufgrund von Verbindungstimeouts und Fehlern aufgrund dynamischer Ereignisse wie Pod-Ausfällen und -Neustarts, automatischer Skalierung und extrem hohen Anforderungsraten.
• Leistungseinbußen, Ausfallzeiten und langsamere und schwierigere Fehlerbehebung in komplexen Kubernetes-Umgebungen aufgrund aggregierter Berichte und fehlender detaillierter, Echtzeit- und historischer Metriken.
• In hybriden Multi-Cloud-Kubernetes-Umgebungen besteht ein erhebliches Risiko von Cybersicherheitsbedrohungen , da herkömmliche Sicherheitsmodelle nicht darauf ausgelegt sind, lose gekoppelte verteilte Anwendungen zu schützen.

Ingress-Controller der Unternehmensklasse wie der F5 NGINX Ingress Controller können bei der Bewältigung dieser Herausforderungen helfen. Durch die Nutzung eines Tools, das Ingress-Controller-, Load Balancer- und API-Gateway-Funktionen kombiniert, können Sie im großen Maßstab eine bessere Betriebszeit, mehr Schutz und mehr Transparenz erreichen – unabhängig davon, wo Sie Kubernetes ausführen. Darüber hinaus werden Komplexität und Betriebskosten reduziert.

NGINX Ingress Controller kann außerdem eng in eine branchenführende Layer-7-App-Schutztechnologie von F5 integriert werden, die dabei hilft, die OWASP Top 10-Cyberbedrohungen für LLM-Anwendungen einzudämmen und KI-/ML-Workloads vor DoS-Angriffen zu schützen.

Vorteile von Ingress-Controllern für KI/ML-Workloads

Ingress-Controller können die Bereitstellung und Ausführung von KI-/ML-Workloads in der Produktion durch die folgenden Funktionen vereinfachen und optimieren:

• Modellbereitstellung – Stellen Sie Apps unterbrechungsfrei bereit, mit Kubernetes-nativem Lastenausgleich, automatischer Skalierung, Geschwindigkeitsbegrenzung und dynamischen Neukonfigurationsfunktionen.
• Modellexperimente – Implementieren Sie Blue-Green- und Canary-Bereitstellungen sowie A/B-Tests, um neue Versionen und Upgrades ohne Ausfallzeiten bereitzustellen.
• Modellüberwachung – Sammeln, darstellen und analysieren Sie Modellmetriken, um bessere Einblicke in den Zustand und die Leistung der App zu erhalten.
• Modellsicherheit – Konfigurieren Sie Benutzeridentität, Authentifizierung, Autorisierung, rollenbasierte Zugriffskontrolle und Verschlüsselungsfunktionen, um Apps vor Cybersicherheitsbedrohungen zu schützen.

Der NGINX Connectivity Stack für Kubernetes umfasst NGINX Ingress Controller und F5 NGINX App Protect, um eine schnelle, zuverlässige und sichere Kommunikation zwischen Kubernetes-Clustern, auf denen KI-/ML-Anwendungen ausgeführt werden, und ihren Benutzern bereitzustellen – vor Ort und in der Cloud. Es trägt dazu bei, die Bereitstellung von Modellen, das Experimentieren, die Überwachung und die Sicherheit in jeder Kubernetes-Umgebung zu vereinfachen und zu optimieren und verbessert die Fähigkeiten von Cloud-Anbietern und vorgefertigten Kubernetes-Angeboten durch ein höheres Maß an Schutz, Verfügbarkeit und Beobachtbarkeit im großen Maßstab.

Erste Schritte mit dem NGINX Connectivity Stack für Kubernetes

NGINX bietet einen umfassenden Satz an Tools und Bausteinen, um Ihre Anforderungen zu erfüllen und die Sicherheit, Skalierbarkeit und Sichtbarkeit Ihrer Kubernetes-Plattform zu verbessern.

Sie können noch heute loslegen, indem Sie eine kostenlose 30-Tage-Testversion von Connectivity Stack für Kubernetes anfordern.