Die Bedeutung der Netzwerksegmentierung für KI-Fabriken

Innerhalb eines KI-Clusters können wir Ressourcen mit einem Mandantenkontext logisch segmentieren und so Mandantenkontingente, Grenzen des Ressourcenverbrauchs, Hostsystemsicherheit und rollenbasierte Zugriffskontrolle (RBAC) für die Verwaltung ermöglichen. Allerdings werden Mandantenkontexte nicht mit den grundlegenden Netzwerkdiensten offengelegt, die den ein- und ausgehenden KI-Cluster-Datenverkehr mit dem Rest des KI-Fabriknetzwerks bereitstellen. Ohne diesen Kontext, der die Grundlage der Cybersicherheit im Rechenzentrum bildet, ist die Netzwerksegmentierung blind. Typische Methoden zum Offenlegen der erforderlichen Mandantenkontexte rauben der KI-Fabrik entweder erheblich wertvolle Rechenleistung oder verlangsamen Netzwerkpfade unter die erforderlichen Grenzwerte für Servicelatenz, Bandbreite oder Parallelität.  Wir stehen vor der falschen Entscheidung zwischen der effizienten Nutzung hochwertiger KI-Fabrikressourcen und der ordnungsgemäßen Integration der Mieter in das Netzwerk.

In öffentlichen Cloud-Infrastrukturen bilden orchestrierte Multi-Tenant-Netzwerkdesigns die Grundlage aller Dienste in einer Cloud-Region und werden mit Virtual Private Clouds (VPC) implementiert. Diese virtualisierte Netzwerksegmentierung ist der Schlüssel zur Sicherheit und Ressourcenmessung. Öffentliche Cloud-Anbieter erhalten diese Funktion mit Teams aus Netzwerksoftwareentwicklern und spezialisierter Netzwerkhardware, darunter SmartNICs und Datenverarbeitungseinheiten (DPUs). KI-Fabrikcluster in öffentlichen Clouds sind darauf ausgelegt, die Vorteile der zugrunde liegenden Infrastruktur der VPC-Netzwerkorchestrierung zu nutzen. Die Kosten für die Wartung von VPCs sind relativ hoch, sie bilden jedoch den Kern des Geschäftsmodells der öffentlichen Cloud.  

Es stellt sich die Frage: Wie kann ein Unternehmen seine Investitionen in eine KI-Fabrik maximieren und GPUs und Rechner dynamisch planen, ohne die gleichen Investitionen wie ein öffentlicher Cloud-Anbieter tätigen zu müssen?

Die erste Station der Branche auf diesem Weg war die Nutzung der Servervirtualisierung zum Erstellen virtueller Maschinen (VMs). VMs nutzen Hardware-Pass-Through, um eine Verbindung zu segmentierten Rechenzentrumsnetzwerken herzustellen. Platzieren Sie einfach alle virtuellen Maschinen in denselben VLANs, und wir können den Betrieb wie gewohnt fortsetzen, wenn es uns nur um einen einzigen Mandanten in einem einzigen KI-Cluster geht.

VMs können sich auch mit der GPU-Segmentierung befassen, da GPU-Anbieter Möglichkeiten unterstützen, GPU-Geräte in Kern- und Speichersätze zu unterteilen und diese dann bestimmten virtuellen Maschinen zuzuweisen. Die Segmentierung von GPU-Geräten erfolgt jedoch nicht dynamisch und erfordert einen Neustart der VM. Darüber hinaus begrenzt dieses Design die Möglichkeit, einen Pool von GPU-Ressourcen zu erstellen, der über viele Mandanten hinweg gemessen werden kann. Dies sind erhebliche Nachteile dieser Lösung.

Was passiert mit unseren KI-Fabrikclustern, wenn sie einen Mieter nicht mehr bedienen können? Das Problem verlagert sich auf das Rechenzentrum. In AI-Factory-Clustern wird standardmäßig für den gesamten Netzwerkverkehr, der das Rechenzentrum verlässt, eine Quellnetzwerkadressenübersetzung (SNAT) durchgeführt, die in die IP-Adresse eines einzelnen Clusterknotens übersetzt wird, auf dem die containerisierte Workload, die die Netzwerkanforderung ausgibt, zufällig ausgeführt wird. Dadurch wird die wahre Quelle effektiv maskiert. Der Datenverkehr stammt dann aus einem Netzwerksegment, auf dem dieser Knoten bereitgestellt wurde. Bei einem Cluster mit mehreren Mandanten bedeutet dies, dass der Mandantenkontext verloren geht und wir einen gemischten Strom ausgehenden Datenverkehrs von mehreren Mandanten erhalten, der unmöglich zu sortieren, zu sichern, Fehler zu beheben oder zu prüfen ist.

KI-Fabriken müssen eine programmierbare, sichere Lösung mit geringer Latenz und vielen Netzwerkfunktionen planen, die sowohl hinsichtlich der Bandbreite als auch der Parallelität skalierbar ist. Mandantenkontexte auf Ebene 2 (z. B. VLANs, VxLAN) und Ebene 3 (z. B. Subnetze, IPSEC-Schnittstellen) müssen innerhalb eines Clusters dem KI-Fabriknetzwerk präsentiert werden. NetOps müssen Beobachtungsmetriken, Protokolle und Debugging-Tools zur Verfügung stehen.

Traditionell werden viele dieser Lösungen für Application und Sichtbarkeit von F5 BIG-IP bereitgestellt. F5 BIG-IP Container Ingress Services (CIS) erkennt Kubernetes-Dienste dynamisch und stellt sie Rechenzentren als virtuelle Server zur Verfügung, ein Konfigurationsobjekt, mit dem BIG-IP-Administratoren durch die Konfiguration zur Darstellung physischer Server und virtueller Maschinen vertraut sind. BIG-IP erfüllt zwar viele der Anforderungen, die wir an eine Lösung stellen, verwaltet jedoch nicht den ausgehenden Datenverkehr vom KI-Cluster in das KI-Fabriknetzwerk, der zur Aufrechterhaltung der Segmentierung erforderlich ist.

Um dieses Problem zu lösen, haben wir F5 BIG-IP Next für Kubernetes entwickelt, eine Lösung für Multi-Tenant-Rechnercluster, die auf unserer Plattform der nächsten Generation BIG-IP Next basiert.

BIG-IP Next für Kubernetes wird vollständig über die Kubernetes-Steuerebene verwaltet und unterstützt die Kubernetes-Verwaltungsauthentifizierung sowie RBAC für alle deklarierten Ressourcen. Außerdem erkennt es die Kubernetes-Miete über Namespaces, um die erforderliche Netzwerksegmentierung für eingehenden und ausgehenden Datenverkehr zu unterstützen. Dies ist der Schlüssel für Architekturen, bei denen die Orchestrierung an erster Stelle steht, wie etwa KI-Fabriken.

BIG-IP Next für Kubernetes bietet NetOps eine vereinfachte Möglichkeit, die Zuordnungen zwischen Kubernetes-Namespaces und Netzwerksegmenten zu deklarieren. Dynamisches Routen-Peering zwischen dem AI-Fabriknetzwerk und BIG-IP Next-Instanzen verwendet eine vertraute Routenkonfigurationssyntax. NetOps-Teams verfügen über die einzigartige Fähigkeit, Live-Netzwerk-Streams für den Cluster-Ein- und -Ausgang sicher zu beheben. SecOps-Teams erhalten pro Cluster-Tenant Ein- und Ausgangs-Firewall-Zugriffskontrolllisten (ACLs), Distributed-Denial-of-Service- (DDoS) und IPS-Funktionen.

BIG-IP Next für Kubernetes entlastet die Plattform-Engineering-Teams von ihren Rechenressourcen, indem es Netzwerkfunktionen wie die Verarbeitung eingehender und ausgehender Daten sowie Source NAT und Firewall auslagert. Dies trägt zur Senkung der Betriebskosten bei und sorgt dafür, dass die Dienste verfügbar und effizient bleiben.

BIG-IP Next für Kubernetes unterstützt auch die Kubernetes Gateway API, die erste Community-Ingress-API, die für bestimmte organisatorische Rollen in NetOps, Plattform-Engineering, DevOps und MLOps modelliert wurde. Über die Gateway-API erweitert BIG-IP Next für Kubernetes typische portbasierte Layer-4- oder HTTP(S)-Routen-Ingress-Dienste auf Layer 7 zu einer Suite für DevOps/MLOps, nämlich TCPRoute, UDPRoute, HTTPRoute, TLSRoute und GRPCRoute – die alle über dieselbe CI/CD-Automatisierung in den wichtigsten KI-Frameworks gesteuert werden.

Aus Managementsicht sorgt BIG-IP Next für Kubernetes dafür, dass NetOps, SecOps, Plattform-Engineering, DevOps und MLOps durch Kubernetes-API-Deklarationen effektiv zusammenarbeiten. Es bietet alles, was Sie von BIG-IP erwarten, allerdings aus der Kubernetes-Perspektive und unterstützt gleichzeitig die Netzwerksegmentierung.

Datenverarbeitungseinheiten (DPU) haben in KI-Fabriken exponentiell an Bedeutung gewonnen. Definiert in einem früheren Blogbeitrag in unserer KI-Fabrik-ReiheEine DPU ist ein programmierbarer Prozessor, der für die Bewegung und Verarbeitung großer Datenmengen mittels Hardwarebeschleunigung bei Netzwerkleitungsgeschwindigkeit ausgelegt ist. Durch Produktinnovationen bei F5 und die Zusammenarbeit mit NVIDIA haben wir BIG-IP Next für Kubernetes veröffentlicht, um Datenflüsse für ein- und ausgehenden Datenverkehr auszulagern und gleichzeitig die Netzwerksegmentierung sowie Sicherheitsfunktionen zu unterstützen, indem wir es unter Verwendung der DOCA-APIs von NVIDIA auf den NVIDIA BlueField-3-DPUs bereitstellen. Dadurch wird die Investition in eine KI-Fabrik maximiert, indem sichergestellt wird, dass KI-Cluster mit Daten gefüttert werden.