Edge-KI steht für die Bereitstellung von Algorithmen und Modellen der künstlichen Intelligenz in einer Edge-Computing-Umgebung, die Rechenleistung und Intelligenz dorthin näher bringen, wo Entscheidungen getroffen werden, teilweise um einen kontinuierlichen Kommunikationsstrom zwischen Edge-Standorten und der Cloud auszugleichen. Edge-KI ermöglicht es Geräten an der Peripherie des Netzwerks, Daten lokal zu verarbeiten, was eine Entscheidungsfindung in Echtzeit ermöglicht, ohne auf Internetverbindungen oder zentrale Cloud-Server für die Verarbeitung angewiesen zu sein, die Rechengeschwindigkeit zu erhöhen und den Datenschutz und die Datensicherheit zu verbessern.
Edge-KI ist die Konvergenz mehrerer Technologien, darunter künstliche Intelligenz, Internet der Dinge (IoT), Edge-Computing und eingebettete Systeme, die alle eine entscheidende Rolle bei der intelligenten Verarbeitung und Entscheidungsfindung am Rande des Netzwerks spielen. Edge-KI umfasst die Verwendung eingebetteter Algorithmen zur Überwachung der Aktivität eines entfernten Systems sowie die Verarbeitung der Daten, die von Geräten wie Sensoren und anderen Trackern unstrukturierter Daten gesammelt werden, darunter Temperatur, Sprache, Gesichter, Bewegung, Bilder, Nähe und andere analoge Eingaben.
Diese dezentralen Systeme können viele Formen annehmen, darunter Sensoren, Smartphones, IoT-Geräte, Drohnen, Kameras und sogar Fahrzeuge und intelligente Geräte. Die von diesen Systemen gesammelten Daten dienen als Input für Edge-KI-Algorithmen und liefern wertvolle Informationen über den Zustand des Systems oder seiner Umgebung, sodass Edge-KI-Systeme schnell auf Veränderungen oder Anomalien reagieren und die Umgebung, in der sie arbeiten, verstehen können. Diese Edge-KI-Anwendungen wären in einer zentralisierten Cloud- oder Unternehmensrechenzentrumsumgebung aufgrund von Problemen in Bezug auf Kosten, Latenzzeit, Bandbreite, Sicherheit und Datenschutz unpraktisch oder sogar unmöglich zu betreiben.
Edge-KI umfasst ein breites Spektrum von Anwendungsfällen, darunter:
Es gibt zwei primäre Paradigmen für die Bereitstellung von KI-Algorithmen und -Modellen: am Netzwerkrand oder in der Cloud. Strategien zur Integration von Systemen, die sich über Cloud- und Edge-Standorte erstrecken, werden als „Cloud-in“ oder „Edge-out“ bezeichnet, wobei beide Varianten Auswirkungen auf Leistung, Sicherheit und Betrieb haben.
Bei der Edge-KI wird KI auf entfernten Geräten eingesetzt, um Echtzeitverarbeitung und Entscheidungsfindung am Netzwerkrand oder in dezentralen Umgebungen zu ermöglichen. Diese Systeme können Daten weitgehend lokal analysieren, ohne auf Netzwerkverbindungen oder die Übertragung von Daten an zentrale Server angewiesen zu sein, was zu geringeren Latenzzeiten und schnelleren Reaktionszeiten führt. Edge-KI-Systeme halten auch sensible Daten lokal, wodurch das Risiko von Datenschutzverletzungen oder Sicherheitsrisiken im Zusammenhang mit der Übertragung von Daten in die Cloud verringert wird.
Beispiele für Edge-KI sind autonome Fahrzeuge, die mithilfe von lokal eingesetzter KI Sensordaten analysieren, um Fahrentscheidungen in Echtzeit zu treffen, und Smart-Home-Geräte, die Edge-KI nutzen, um Sprachbefehle zu verarbeiten oder Räumlichkeiten auf Eindringlinge zu überwachen.
Auf der anderen Seite zeichnet sich Cloud-KI dadurch aus, dass KI-Algorithmen und -Modelle auf zentralisierten Cloud-Servern bereitgestellt werden, was die Verarbeitung von Daten, das Training und die Inferenzen in Bezug auf Daten in großem Umfang ermöglicht. Cloud-Ressourcen bieten erhebliche Rechenkapazitäten und ermöglichen komplexe KI-Aufgaben wie Deep-Learning-Training oder Big Data-Analysen, die eine enorme Rechenleistung erfordern. Cloud-KI-Lösungen können leicht skaliert werden, um große Daten- und Benutzermengen zu bewältigen, wodurch sie sich für Anwendungen mit hohem Durchsatz oder ressourcenintensiven Anforderungen eignen.
Empfehlungsdienste, wie sie von Amazon oder Netflix eingesetzt werden, um den Verbrauchern auf der Grundlage umfangreicher Benutzerdaten neue oder alternative Produktangebote zu unterbreiten, sind Beispiele für groß angelegte Cloud-KI-Systeme, die erhebliche Rechenressourcen benötigen, um optimal zu funktionieren.
Andere KI-Anwendungsfälle umfassen sowohl Edge-KI als auch Cloud-KI, um spezifische Kundenbedürfnisse zu erfüllen. Ein Beispiel aus der Praxis ist Sentient.io, ein in Singapur ansässiger Anbieter von KI- und Datenplattformen, der den Sentient Marketplace entwickelt hat, eine Drehscheibe für innovative KI-Dienste, die es Unternehmen ermöglicht, KI problemlos in ihre bestehenden Arbeitsabläufe zu integrieren. Der schnelle Erfolg des Marketplace brachte jedoch einige komplexe Herausforderungen mit sich, darunter die Schwierigkeit, KI-Dienste in verteilten Umgebungen zu betreiben und bereitzustellen – vor Ort, in der öffentlichen Cloud, in der privaten Cloud und am Netzwerkrand.
Wenn einzelne Cloud-Anbieterlösungen an Kundenstandorten über mehrere Anbieter hinweg betrieben werden, können sie proprietäre Kubernetes-Distributionen anbieten, was sich für Unternehmen, die diese Plattformen in ihren jeweiligen Cloud-Umgebungen nutzen müssen, als entmutigend erweisen kann. Ebenfalls umständlich war der Bereitstellungsprozess für die KI-Modelle von Sentient an Kundenstandorten, der die Einrichtung von Kubernetes-Umgebungen vor Ort für jeden Edge-Standort sowie die manuelle Handhabung von Updates und die Synchronisierung neuer Modelle erforderte. Dies führte zu einer erhöhten betrieblichen Komplexität und inkonsistenten Orchestrierung der Arbeitsabläufe und Sicherheitsrichtlinien.
Sentient.io ist mit F5 eine partnerschaftliche Zusammenarbeit angegangen, um schlüsselfertige, unternehmensgerechte KI-as-a-Service-Lösungen für Kunden in einer Vielzahl von Branchen anzubieten. Dabei kommt der F5 Distributed Cloud App Stack zum Einsatz, eine unternehmensfähige Kubernetes-Plattform, die die Bereitstellung an On-Premises-Standorten, in der Cloud und am Netzwerkrand vereinfacht. Die Lösung optimierte die Abläufe bei Sentient, indem sie die Latenzzeit reduzierte und die KI-Verarbeitung am Edge in Echtzeit ermöglichte. Durch die Bereitstellung von Inferenz am Netzwerkrand werden Netzwerk- und Bandbreitenbeschränkungen aufgrund des geografischen Standorts beseitigt und die sofortige Bereitstellung von Inferenzen für Anwendungen in Echtzeit sichergestellt. Durch diese Verlagerung der Modellbereitstellung konnte Sentient.io seinen Kunden hochleistungsfähige KI-Anwendungen mit einer schnelleren Wertschöpfung bereitstellen, die Ressourcenzuweisung optimieren, die Gesamtbetriebskosten senken und die Anwendungs- und API-Sicherheit nativ integrieren.
Die Zusammenarbeit führte auch zu erheblichen Kosteneinsparungen im Vergleich zum vorherigen Prozess der manuellen Verwaltung mehrerer Cloud-Plattformen, der spezielle Teams erforderte und erhebliche Ressourcenkosten verursachte. Mit F5 Distributed Cloud Services vereinfachte Sentient den Betrieb, senkte die Kosten durch die Optimierung von Ressourcen und die Vereinfachung des Anwendungsmanagements, wodurch Ressourcen für andere strategische Initiativen frei wurden.
Der Zugriff auf KI am Netzwerkrand umfasst eine Kombination von Geräten, Technologien, Infrastrukturkomponenten und Integrationen, die einen effizienten Zugriff und die Nutzung von KI-Funktionen am Netzwerkrand ermöglichen, darunter:
Beachten Sie außerdem die folgenden Herausforderungen und Einschränkungen bei der Bereitstellung und dem Zugriff auf Edge-KI.
Der Schutz von Daten und die Abschwächung von Sicherheitsrisiken bei Edge-KI-Implementierungen erfordert einen ganzheitlichen Ansatz, der einen mehrschichtigen Sicherheitsansatz betont. Während sich Edge-KI in wichtigen Punkten von herkömmlichen Computer-Workloads unterscheidet, wie z. B. ihrer Fähigkeit, aus Daten zu lernen und ihr Verhalten auf der Grundlage von Erfahrungen zu entwickeln, hat Edge-KI in Bezug auf die Sicherheitsanforderungen viel mit konventionelleren IoT-Systemen gemeinsam und weist viele der gleichen Risiken auf, einschließlich:
Eine eingehende Untersuchung der Sicherheitsrisiken, die mit dem Einsatz und der Verwaltung von KI-Systemen auf der Grundlage von LLMs, einschließlich Edge-KI-Anwendungen, verbunden sind, finden Sie in den OWASP Top 10 für Anwendungen großer Sprachmodelle (LLM-Anwendungen), die das Bewusstsein für ihre Schwachstellen fördern, Abhilfestrategien vorschlagen und versuchen, die Sicherheitslage von LLM-Anwendungen zu verbessern.
Aufgrund ihrer Positionierung am Netzwerkrand oder an anderen entfernten Standorten ist es wichtig, die KI-Infrastruktur am Rande des Netzwerks im Hinblick auf Leistung, Ressourcennutzung, Sicherheit und andere Aspekte zu optimieren. Die Optimierung von Effizienz und Leistung für ressourcenbeschränkte Geräte kann jedoch eine Herausforderung darstellen, da die Minimierung von Rechen-, Speicher- und Energieanforderungen bei gleichzeitiger Aufrechterhaltung einer akzeptablen Leistung oft Kompromisse erfordert.
Es gibt mehrere Strategien, um die Rechenleistung am Netzwerkrand zu optimieren und gleichzeitig den Energieverbrauch zu begrenzen. Die Implementierung von Energiespartechniken wie Energiesparmodi, Ruhezuständen oder dynamischer Spannungs- und Frequenzskalierung (DVFS) kann dazu beitragen, den Energieverbrauch zu senken. Hardware-Beschleuniger wie GPUs und DPUs können der CPU rechenintensive Aufgaben abnehmen und sie so entlasten und die Inferenzgeschwindigkeit verbessern. Verwenden Sie Techniken wie dynamisches Batching, adaptive Inferenz oder Modellsparsamkeit, um die Ressourcennutzung zu optimieren und gleichzeitig die Leistung aufrechtzuerhalten. Weniger intensive Aufgaben können von CPU-Ressourcen erledigt werden, was die Bedeutung des Ressourcen-Poolings in stark verteilten Architekturen unterstreicht.
Edge-KI-Geräte verfügen oft nur über begrenzte Rechenressourcen, sodass es notwendig ist, leichtgewichtige KI-Modelle einzusetzen, die für Edge-Geräte optimiert sind. Bei der Auswahl des geeignetsten Modells für die Ressourcen des Geräts und die Anforderungen der Anwendung muss ein Gleichgewicht zwischen Modellkomplexität, Genauigkeit und Inferenzgeschwindigkeit gefunden werden. Techniken wie Modellquantisierung, Pruning und Wissensdestillation können dazu beitragen, die Größe von KI-Modellen ohne signifikante Leistungseinbußen zu reduzieren.
Der „sich auflösende Perimeter“ bezieht sich darauf, dass herkömmliche Netzwerkgrenzen aufgrund von Faktoren wie mobilen Geräten, Cloud- und Edge-Computing immer undefinierter werden. Im Zusammenhang mit Edge-KI bedeutet der sich auflösende Perimeter, dass Edge-KI-Geräte in der Regel in entfernten und dynamischen Netzwerkumgebungen am Netzwerkrand eingesetzt werden und außerhalb von Rechenzentrums- oder Cloud-Umgebungen und jenseits herkömmlicher, auf dem Perimeter basierender Sicherheitsmaßnahmen wie Firewalls oder Intrusion-Detection-Systemen operieren. Infolgedessen hat die Edge-KI-Sicherheit besondere Anforderungen und muss optimiert werden, um vor Bedrohungen wie unberechtigtem Zugriff an isolierten Standorten und in komplexen, verteilten Umgebungen zu schützen, die das Sicherheitsmanagement und die Transparenz zu einer Herausforderung machen.
Darüber hinaus stellen APIs das Bindeglied dar, das es mehreren Teilen von KI-Anwendungen ermöglicht, Daten und Anweisungen auszutauschen. Der Schutz dieser API-Verbindungen und der Daten, die über sie laufen, ist eine entscheidende Sicherheitsherausforderung, der sich Unternehmen stellen müssen, wenn sie KI-fähige Anwendungen bereitstellen. Dies erfordert den Einsatz von Webanwendungs- und API-Schutzdiensten, die Endpunkte dynamisch erkennen und automatisch vor einer Vielzahl von Risiken schützen.
LLMs sind Modelle der künstlichen Intelligenz, die auf riesigen Mengen von Textdaten basieren und darauf trainiert sind, natürliche Sprachausgaben mit bemerkenswerter, menschenähnlicher Geläufigkeit und Kohärenz zu verstehen und zu generieren. LLMs, die das Herzstück generativer KI-Anwendungen bilden, werden in der Regel anhand von Eingabedaten und Inhalten trainiert, die systematisch aus dem Internet entnommen werden, z. B. Online-Bücher, Posts, Websites und Artikel. Diese Eingabedaten sind jedoch Angriffen durch böswillige Akteure ausgesetzt, die die Eingabedaten absichtlich manipulieren, um die Leistung generativer KI-Modelle zu täuschen oder zu beeinträchtigen, was zu Schwachstellen, Verzerrungen, unzuverlässigen Ausgaben, Datenschutzverletzungen und der Ausführung von nicht autorisiertem Code führt.
Zu den größten Sicherheitsrisiken für LLMs gehören:
Die Bewältigung dieser Sicherheitsherausforderungen erfordert einen vielschichtigen Ansatz, der Prompt Injection verhindert und Techniken wie Prompt-Bereinigung, Eingabevalidierung und Prompt-Filterung einsetzt, um sicherzustellen, dass das Modell nicht durch böswillig erstellte Eingaben manipuliert wird. Um DoS-Angriffen entgegenzuwirken, sollte eine mehrschichtige Schutzstrategie entwickelt werden, die Ratenbegrenzung, Anomalie-Erkennung und Verhaltensanalyse umfasst, um verdächtige oder böswillige Netzwerkaktivitäten zu erkennen und zu identifizieren. Die Branche entwickelt sich weiter, um diese Risiken effektiv zu bewältigen, was zu einer raschen Entwicklung von LLM-Proxys, Firewalls, Gateways und sicherer Middleware innerhalb von Anwendungs-Stacks führt.
Die Edge-KI ist Teil einer sich schnell entwickelnden Reihe von Technologien am Netzwerkrand, die eine neue Ära intelligenter, reaktionsschneller und effizienterer Computerumgebungen einläuten. Diese Technologien an der Schnittstelle von Prozessor-, Netzwerk-, Software- und Sicherheitsfortschritt eröffnen neue Möglichkeiten für Innovation und Transformation in allen Branchen. Diese Edge-Computing-Anwendungsfälle nutzen die Vorteile von Echtzeitanalysen und Entscheidungsfindung am Netzwerkrand und ermöglichen es Unternehmen, Daten näher an der Quelle zu verarbeiten und zu analysieren und die Reaktionszeiten für latenzempfindliche Anwendungen zu verbessern oder die Echtzeitbereitstellung von Inhalten sicherzustellen.
Die Verteilung von Rechenressourcen über den Netzwerkrand ermöglicht es Unternehmen außerdem, sich schnell an wechselnde Workload-Anforderungen anzupassen und die Ressourcennutzung zu optimieren, um die Gesamtsystemleistung und -effizienz zu verbessern. Diese Möglichkeiten sind zum Teil auf die Entwicklung spezieller Komponenten für die Edge-Computing-Infrastruktur zurückzuführen, wie z. B. Edge-Server, Edge-Computing-Plattformen und -Bibliotheken sowie AI-on-Chip-Prozessoren, die die erforderlichen Rechen-, Speicher- und Netzwerkressourcen zur Unterstützung von Edge-KI-Anwendungen bereitstellen.
Edge-KI hat eine entscheidende Rolle bei der Renaissance der Infrastruktur am Netzwerkrand gespielt, und die Integration von KI in das IoT treibt weiterhin die intelligente Entscheidungsfindung am Netzwerkrand voran und fördert revolutionäre Anwendungen im Gesundheitswesen, in der industriellen Automatisierung, in der Robotik, in der intelligenten Infrastruktur und mehr.
TinyML ist ein Ansatz für ML und KI, der sich zum Teil auf die Erstellung von leichtgewichtigen Software-ML-Modellen und -Algorithmen konzentriert, die für den Einsatz auf ressourcenbeschränkten Edge-Geräten wie Mikrocontrollern und Edge-KI-Geräten optimiert sind. TinyML-basierte Algorithmen sind energieeffizient und können Inferenzaufgaben lokal ausführen, ohne auf Cloud-Ressourcen angewiesen zu sein.
Darüber hinaus werden kompakte und leistungsstarke Prozessoren wie DPUs, bei denen es sich um spezialisierte Hardwarekomponenten zur Entlastung und Beschleunigung von Datenverarbeitungsaufgaben von der CPU handelt, zunehmend in Edge-Computing- und KI/ML-Workloads eingesetzt, bei denen die effiziente Verarbeitung großer Datenmengen für die Leistung und Skalierbarkeit entscheidend ist. Diese Effizienz ist besonders in Edge-Computing-Umgebungen wertvoll, in denen Energiebeschränkungen den Einsatz von energieintensiven GPU-Lösungen einschränken können.
Die Verbindung dieser Innovationen in einem Kontinuum von Edge zu Cloud zu Rechenzentrum ist eine neue Generation von Netzwerklösungen, die eine nahtlose Datenverarbeitung, -analyse und -beobachtbarkeit über verteilte Architekturen hinweg ermöglicht, einschließlich hybrider, Multi-Cloud- und Edge-Computing-Ressourcen. Diese Netzwerke werden sich zunehmend auf APIs stützen, die wesentliche Komponenten von Edge-Computing-Plattformen sind, da sie die Kommunikation, Integration und Automatisierung erleichtern, um einen nahtlosen Datenaustausch und die Synchronisierung innerhalb verteilter Computing-Umgebungen zu ermöglichen. APIs ermöglichen auch die Interoperabilität zwischen verschiedenen Edge-Geräten, -Systemen und -Diensten, indem sie standardisierte Schnittstellen bereitstellen, die auch die dynamische Bereitstellung, Verwaltung und Kontrolle von Edge-Ressourcen und -Diensten ermöglichen.
In diesen weit verzweigten, verteilten Architekturen können Daten an mehreren Punkten entlang des Kontinuums sicher verarbeitet und analysiert werden, von Edge-Geräten in der Nähe der Datenquellen bis hin zu zentralen oder – verteilten – Cloud-Servern in Rechenzentren. Dieses Edge-to-Everywhere-Kontinuum ermöglicht es Unternehmen, die Stärken verschiedener Rechenumgebungen sicher zu nutzen und herkömmliche und KI-Workloads zu integrieren, um die vielfältigen Anforderungen moderner Anwendungen zu erfüllen.
F5 ist der einzige Lösungsanbieter, der jede Anwendung, jede API, überall und über das gesamte Kontinuum verteilter Umgebungen hinweg sichert, bereitstellt und optimiert, einschließlich KI-Anwendungen am Netzwerkrand. KI-basierte Anwendungen sind die modernsten aller modernen Anwendungen, und obwohl es spezielle Überlegungen für Systeme gibt, die generative KI (GenAI) einsetzen, wie z. B. LLM-Risiken und verteilte Inferenz, unterliegen diese Anwendungen auch Latenzzeiten, Denial-of-Service, Software-Schwachstellen und Missbrauch durch böswillige Akteure, die Bots und bösartige Automatisierung einsetzen.
Neue KI-gesteuerte digitale Erlebnisse sind stark verteilt, mit einer Mischung aus Datenquellen, Modellen und Diensten, die sich über lokale, Cloud- und Edge-Umgebungen erstrecken und alle durch ein wachsendes Netzwerk von APIs verbunden sind, die erhebliche Sicherheitsherausforderungen mit sich bringen. Der Schutz dieser API-Verbindungen und der Daten, die über sie laufen, ist die entscheidende Sicherheitsherausforderung, der sich Unternehmen stellen müssen, wenn sie mehr KI-gestützte Dienste bereitstellen.
F5 Distributed Cloud Services bietet die branchenweit umfassendste KI-fähige API-Sicherheitslösung mit API-Code-Tests und Telemetrie-Analysen zum Schutz vor raffinierten KI-gestützten Bedrohungen und erleichtert gleichzeitig die Sicherung und Verwaltung von Multi-Cloud- und Edge-Anwendungsumgebungen. F5 Multi-Cloud Networking-Lösungen bieten SaaS-basierte Netzwerke mit Datenverkehrsoptimierung und Sicherheitsservices für öffentliche und private Clouds und Edge-Implementierungen über eine einzige Konsole, wodurch die Verwaltungslast von Cloud-abhängigen Diensten und mehreren Drittanbietern verringert wird. Mit den Netzwerklösungen von F5 erhalten Sie beschleunigte KI-Bereitstellungen, Ende-zu-Ende-Richtlinienverwaltung und Beobachtbarkeit für eine vollständig automatisierbare und zuverlässige Infrastruktur.
Darüber hinaus bildet die neue F5 AI Data Fabric die Grundlage für die Entwicklung innovativer Lösungen, die Kunden dabei helfen, fundiertere Entscheidungen zu treffen und schneller zu handeln. Telemetriedaten von Distributed Cloud Services, BIG-IP und NGINX werden kombiniert, um unvergleichliche Einblicke zu liefern, Echtzeitberichte zu erstellen, Aktionen zu automatisieren und KI-Agenten zu betreiben.
F5 stellt außerdem einen KI-Assistenten vor, der die Art und Weise, wie Kunden mit F5-Lösungen interagieren und diese verwalten, mithilfe einer natürlichsprachlichen Schnittstelle verändern wird. Der KI-Assistent, der auf der F5 AI Data Fabric basiert, generiert Datenvisualisierungen, identifiziert Anomalien, fragt Richtlinienkonfigurationen ab und generiert sie und wendet Abhilfemaßnahmen an. Darüber hinaus fungiert er als eingebetteter Kundensupport-Manager, der es Kunden ermöglicht, Fragen zu stellen und Empfehlungen zu erhalten, die auf dem Modelltraining ganzer Produktdatenbanken basieren.
Durch die Bereitstellung und den Schutz Ihrer KI-basierten Anwendungen, vom Rechenzentrum bis zum Netzwerkrand, bieten die Lösungen von F5 leistungsstarke Tools, die vorhersehbare Leistung und Sicherheit bieten, damit Sie den größten Nutzen aus Ihren KI-Investitionen ziehen können.
LÖSUNGEN
Power and Protect Your AI Journey › (Leistung und Schutz für Ihre KI-Erfahrung ›)
BLOG
How F5 Is Unlocking the Power of AI › (Wie F5 die Macht der KI freisetzt ›)
WEBINAR
Generative AI in Cyber Security: A Double-Edged Sword › (Generative KI in der Cybersicherheit: Ein zweischneidiges Schwert ›)