Mit F5, Intel und Dell wird KI-Inferenz einfacher, sicherer und leistungsfähiger

Unternehmen möchten neue Apps und Workflows auf Basis künstlicher Intelligenz entwickeln. Doch deren erfolgreicher Betrieb kann schwierig sein. Mehrere KI-Frameworks und App-Umgebungen schaffen Komplexität für Entwickler und Sicherheitsteams. Sie benötigen eine Lösung, die den Aufbau, die Ausführung und Sicherung schneller Inferenzen vereinfacht.

Das OpenVINO™-Toolkit von Intel ist ein Open-Source-Toolkit, das die KI-Inferenz beschleunigt und gleichzeitig einen geringeren Platzbedarf und einen Ansatz zum einmaligen Schreiben und Überall-Einsetzen bietet. Es hilft Entwicklern, skalierbare und effiziente KI-Lösungen mit relativ wenigen Codezeilen zu erstellen. Entwickler können KI-Modelle verwenden, die mit gängigen Frameworks wie TensorFlow, PyTorch, ONNX und anderen trainiert wurden. Mit OpenVINO konvertieren Entwickler zunächst Modelle und können diese für schnellere Reaktionen weiter optimieren und komprimieren. Jetzt kann das KI-Modell bereitgestellt werden, indem die OpenVINO-Laufzeit in die Anwendung eingebettet wird, um sie KI-fähig zu machen. Entwickler können ihre KI-gestützte Anwendung über einen leichten Container in einem Rechenzentrum, in der Cloud oder am Rand auf einer Vielzahl von Hardwarearchitekturen bereitstellen.

Ein Entwickler möchte das Modell möglicherweise nicht mit der Anwendung hosten oder in die Anwendung einbetten. Das Modell der Anwendung muss möglicherweise von Zeit zu Zeit aktualisiert werden und die Anwendung muss möglicherweise mehrere Modelle ausführen, um die von der Anwendung bereitgestellten Funktionen bereitzustellen. OpenVINO bietet eine Lösung mit dem OpenVINO-Modellserver, einem softwaredefinierten Hochleistungssystem zum Bereitstellen von Modellen in einer Client-Server-Architektur. Zu den Vorteilen des OpenVINO-Modellservers gehören:

1. Einfache Bereitstellung: Dank der containerisierten Architektur mit Docker wird die Bereitstellung von Modellen mit dem OpenVINO-Modellserver einfacher und skalierbarer. Es abstrahiert die Komplexität der Hardwarekonfiguration und -abhängigkeiten.
2. Skalierbarkeit: Der OpenVINO-Modellserver kann in einer Clusterumgebung eingesetzt werden, um hohe Inferenzlasten zu verarbeiten und bei Bedarf horizontal zu skalieren. Diese Skalierbarkeit stellt sicher, dass die Inferenzleistung auch bei hoher Arbeitslast konstant bleibt.
3. Ferninferenz: Der OpenVINO-Modellserver unterstützt Remote-Inferenz, sodass Clients Inferenzen auf Modellen durchführen können, die auf Remote-Servern bereitgestellt sind. Diese Funktion ist nützlich für verteilte Anwendungen oder Szenarien, in denen Inferenzen auf leistungsstarken Servern ausgeführt werden müssen, während das Clientgerät über begrenzte Ressourcen verfügt.
4. Überwachung und Verwaltung: Der OpenVINO-Modellserver bietet Überwachungs- und Verwaltungsfunktionen, mit denen Administratoren die Inferenzleistung und Ressourcennutzung verfolgen und bereitgestellte Modelle effektiv verwalten können.

OpenVINO vereinfacht die Optimierung, Bereitstellung und Skalierung von KI-Modellen, für den produktiven Einsatz benötigen sie jedoch auch Sicherheit. F5 NGINX Plus fungiert als Reverse-Proxy und bietet Verkehrsmanagement und Schutz für KI-Modellserver. Mit Hochverfügbarkeitskonfigurationen und aktiven Integritätsprüfungen kann NGINX Plus sicherstellen, dass Anfragen von Apps, Workflows oder Benutzern einen betriebsbereiten OpenVINO-Modellserver erreichen. Darüber hinaus ermöglicht es die Verwendung von HTTPS- und mTLS-Zertifikaten, um die Kommunikation zwischen der Benutzeranwendung und dem Modellserver zu verschlüsseln, ohne die Leistung zu beeinträchtigen.

Bei Bereitstellung auf demselben Hostserver oder derselben virtuellen Maschine filtert NGINX Plus den eingehenden Datenverkehr und überwacht die Integrität der Upstream-Container. Es bietet außerdem eine Inhaltszwischenspeicherung, um die Leistung zu steigern und den Arbeitsaufwand für den Modellserver zu reduzieren. Diese Kombination bietet effiziente Sicherheit, aber die NGINX Plus- und OpenVINO-Modellserver müssen möglicherweise um Ressourcen konkurrieren, wenn sie auf einer einzelnen CPU bereitgestellt werden. Dies kann zu Verlangsamungen oder Leistungseinbußen führen.