Edge AI steht für den Einsatz von Algorithmen und Modellen künstlicher Intelligenz in einer Edge-Computing-Umgebung, die Rechenleistung und Intelligenz näher an den Ort der Entscheidungsfindung bringt, unter anderem um einen kontinuierlichen Kommunikationsstrom zwischen Edge-Sites und der Cloud auszugleichen. Edge AI ermöglicht Geräten an der Peripherie des Netzwerks, Daten lokal zu verarbeiten. Dies ermöglicht Entscheidungen in Echtzeit, ohne für die Verarbeitung auf Internetverbindungen oder zentrale Cloud-Server angewiesen zu sein, was die Rechengeschwindigkeit erhöht und den Datenschutz und die Datensicherheit verbessert.
Edge-KI ist die Konvergenz mehrerer Technologien, darunter künstliche Intelligenz, Internet der Dinge (IoT), Edge-Computing und eingebettete Systeme, die jeweils eine entscheidende Rolle bei der Ermöglichung intelligenter Verarbeitung und Entscheidungsfindung am Rand des Netzwerks spielen. Bei Edge AI werden eingebettete Algorithmen verwendet, um die Aktivität eines Remote-Systems zu überwachen, sowie die von Geräten wie Sensoren und anderen Trackern unstrukturierter Daten erfassten Daten verarbeitet, darunter Temperatur, Sprache, Gesichter, Bewegung, Bilder, Nähe und andere analoge Eingaben.
Diese Remote-Systeme können viele Formen annehmen, darunter Sensoren, Smartphones, IoT-Geräte, Drohnen, Kameras und sogar Fahrzeuge und intelligente Geräte. Die von diesen Systemen gesammelten Daten dienen als Input für Edge-KI-Algorithmen und liefern wertvolle Informationen über den Zustand des Systems oder seiner Umgebung. So können Edge-KI-Systeme schnell auf Änderungen oder Anomalien reagieren und die Umgebung verstehen, in der sie arbeiten. Aus Kosten-, Latenz-, Bandbreiten-, Sicherheits- und Datenschutzgründen wäre der Betrieb dieser Edge-KI-Anwendungen in einer zentralisierten Cloud- oder Unternehmensrechenzentrumsumgebung unpraktisch oder sogar unmöglich.
Edge AI umfasst ein breites Spektrum an Anwendungsfällen, darunter:
Es gibt zwei primäre Paradigmen für die Bereitstellung von KI-Algorithmen und -Modellen: am Rand oder in der Cloud. Strategien zur Integration von Systemen, die sich über Cloud- und Edge-Sites erstrecken, werden als „Cloud-In“ oder „Edge-Out“ bezeichnet, wobei beide Auswirkungen auf Leistung, Sicherheit und Betrieb haben.
Bei Edge AI geht es um die Bereitstellung von KI auf Remote-Geräten, um Echtzeitverarbeitung und Entscheidungsfindung am Netzwerkrand oder in dezentralen Umgebungen zu ermöglichen. Diese Systeme können Daten größtenteils lokal analysieren, ohne auf eine Netzwerkverbindung angewiesen zu sein oder Daten an zentrale Server zu übertragen, was zu geringeren Latenzen und schnelleren Reaktionszeiten führt. Edge-KI-Systeme speichern vertrauliche Daten außerdem lokal und verringern so das Risiko von Datenschutzverletzungen oder Sicherheitsrisiken, die mit der Datenübertragung in die Cloud verbunden sind.
Beispiele für Edge-KI sind autonome Fahrzeuge, die mithilfe lokal implementierter KI Sensordaten analysieren und so Fahrentscheidungen in Echtzeit treffen, und Smart-Home-Geräte, die mithilfe von Edge-KI Sprachbefehle verarbeiten oder Räumlichkeiten auf Eindringlinge überwachen.
Cloud-KI hingegen zeichnet sich dadurch aus, dass KI-Algorithmen und -Modelle auf zentralen Cloud-Servern eingesetzt werden, was eine groß angelegte Datenverarbeitung, Schulung und Inferenz ermöglicht. Cloud-Ressourcen verfügen über erhebliche Rechenkapazitäten und ermöglichen komplexe KI-Aufgaben wie Deep-Learning-Training oder Big-Data-Analysen, die enorme Rechenleistung erfordern. Cloud-KI-Lösungen lassen sich problemlos skalieren, um große Datenmengen und Benutzer zu verarbeiten, und eignen sich daher für Anwendungen mit hohem Durchsatz oder ressourcenintensiven Anforderungen.
Empfehlungsmaschinen, wie sie von Amazon oder Netflix eingesetzt werden, um Verbrauchern auf der Grundlage umfangreicher Benutzerdaten neue oder alternative Produktoptionen anzubieten, sind Beispiele für groß angelegte Cloud-KI-Systeme, die erhebliche Rechenressourcen benötigen, um optimal zu funktionieren.
Andere KI-Anwendungsfälle umfassen sowohl Edge-KI als auch Cloud-KI, um spezifische Kundenanforderungen zu erfüllen. Ein Beispiel aus der Praxis ist Sentient.io, ein in Singapur ansässiger Anbieter von KI- und Datenplattformen, der den Sentient Marketplace entwickelt hat, einen Hub für innovative KI-Dienste, der es Unternehmen ermöglicht, KI problemlos in ihre bestehenden Arbeitsabläufe zu integrieren. Der schnelle Erfolg des Marktes brachte jedoch mehrere komplexe Herausforderungen mit sich, darunter die Schwierigkeit, KI-Dienste in verteilten Umgebungen (vor Ort, in der öffentlichen Cloud, in der privaten Cloud und am Rand) zu betreiben und bereitzustellen.
Beim Betrieb über mehrere Anbieter an Kundenstandorten hinweg bieten einzelne Cloud-Anbieter möglicherweise proprietäre Kubernetes-Distributionen an. Dies kann für Unternehmen, die diese Plattformen in ihren jeweiligen Cloud-Umgebungen nutzen müssen, eine Herausforderung darstellen. Ebenfalls umständlich war der Bereitstellungsprozess der KI-Modelle von Sentient an den Kundenstandorten, der die Einrichtung lokaler Kubernetes-Umgebungen für jeden Edge-Standort sowie die manuelle Handhabung von Updates und die Synchronisierung neuer Modelle erforderte. Dies führte zu einer erhöhten Betriebskomplexität und inkonsistenten Workflow-Orchestrierungs- und Sicherheitsrichtlinien.
Sentient.io ist eine Partnerschaft mit F5 eingegangen, um Kunden aus verschiedensten Branchen schlüsselfertige KI-Lösungen „as a Service“ auf Unternehmensniveau anzubieten. Dazu wird der F5 Distributed Cloud App Stack verwendet, eine unternehmensreife Kubernetes-Plattform, die Bereitstellungen vor Ort, in der Cloud und an Edge-Standorten vereinfacht. Die Lösung rationalisierte die Betriebsabläufe von Sentient, reduzierte die Latenz und ermöglichte die Echtzeit-KI-Verarbeitung am Edge. Durch die Bereitstellung von Inferenzen am Edge werden Netzwerk- und Bandbreitenbeschränkungen aufgrund des geografischen Standorts eliminiert und eine sofortige Bereitstellung von Inferenzen für Anwendungen in Echtzeit gewährleistet. Durch diese Änderung bei der Modellbereitstellung konnte Sentient.io seinen Kunden leistungsstarke KI-Anwendungen mit schnellerer Wertschöpfung liefern, die Ressourcenzuweisung optimieren, die Gesamtbetriebskosten senken und die Anwendungs- und API-Sicherheit nativ integrieren.
Die Zusammenarbeit brachte auch erhebliche Kosteneinsparungen im Vergleich zum vorherigen Prozess der manuellen Verwaltung mehrerer Cloud-Plattformen, der dedizierte Teams erforderte und erhebliche Ressourcenkosten verursachte. Mit F5 Distributed Cloud Services vereinfacht Sentient den Betrieb, senkt die Kosten durch Ressourcenoptimierung und vereinfachtes Anwendungsmanagement und gibt so Ressourcen für andere strategische Initiativen frei.
Der Zugriff auf Edge-KI umfasst den Einsatz einer Kombination aus Geräten, Technologien, Infrastrukturkomponenten und Integrationen, um einen effizienten Zugriff und eine effiziente Nutzung der KI-Funktionen am Netzwerkrand zu ermöglichen. Dazu gehören:
Beachten Sie auch die folgenden Herausforderungen und Einschränkungen bei der Bereitstellung und dem Zugriff auf Edge-KI.
Der Schutz von Daten und die Minderung von Sicherheitsrisiken bei Edge-KI-Bereitstellungen erfordert einen ganzheitlichen Ansatz, bei dem ein mehrschichtiger Sicherheitsansatz im Vordergrund steht. Edge-KI unterscheidet sich zwar in wichtigen Punkten von herkömmlichen Computer-Workloads, etwa in der Fähigkeit, aus Daten zu lernen und erfahrungsbasiertes Verhalten zu entwickeln. In Bezug auf die Sicherheitsanforderungen hat Edge-KI jedoch vieles mit herkömmlicheren IoT-Systemen gemeinsam und birgt viele derselben Risiken, darunter:
Eine ausführliche Untersuchung der Sicherheitsrisiken im Zusammenhang mit der Bereitstellung und Verwaltung von KI-Systemen auf Basis von LLMs (einschließlich Edge-KI-Anwendungen) finden Sie in den OWASP Top 10 für Anwendungen mit großen Sprachmodellen . Sie sensibilisieren für deren Schwachstellen, schlagen Strategien zur Behebung vor und versuchen, die Sicherheitslage von LLM-Anwendungen zu verbessern.
Aufgrund der Platzierung am Netzwerkrand oder an anderen Remote-Standorten ist es wichtig, die Edge-KI-Infrastruktur im Hinblick auf Leistung, Ressourcennutzung, Sicherheit und andere Aspekte zu optimieren. Allerdings kann die Optimierung der Effizienz und Leistung bei Geräten mit beschränkten Ressourcen eine Herausforderung darstellen, da die Minimierung des Rechenleistungs-, Speicher- und Energiebedarfs bei gleichzeitiger Beibehaltung einer akzeptablen Leistung oft mit Kompromissen verbunden ist.
Es gibt verschiedene Strategien, um die Rechenleistung am Rand zu optimieren und gleichzeitig den Energieverbrauch zu begrenzen. Die Implementierung von Energiespartechniken wie Energiesparmodi, Ruhezuständen oder dynamischer Spannungs- und Frequenzskalierung (DVFS) kann zur Reduzierung des Energieverbrauchs beitragen. Hardwarebeschleuniger wie GPUs und DPUs können die CPU von rechenintensiven Aufgaben entlasten und so die Inferenzgeschwindigkeit verbessern. Verwenden Sie Techniken wie dynamisches Batching, adaptive Inferenz oder Modell-Spärlichkeit, um die Ressourcennutzung bei gleichbleibender Leistung zu optimieren. Weniger intensive Aufgaben können von CPU-Ressourcen übernommen werden, was die Bedeutung der Ressourcenbündelung in stark verteilten Architekturen unterstreicht.
Edge-KI-Geräte verfügen häufig über begrenzte Rechenressourcen, sodass der Einsatz leichter, für Edge-Geräte optimierter KI-Modelle erforderlich ist. Dies kann bedeuten, dass bei der Auswahl des am besten geeigneten Modells für Geräteressourcen und Anwendungsanforderungen ein Gleichgewicht zwischen Modellkomplexität, Genauigkeit und Inferenzgeschwindigkeit gefunden werden muss. Techniken wie Modellquantisierung, Bereinigung und Wissensdestillation können dazu beitragen, die Größe von KI-Modellen ohne nennenswerte Leistungseinbußen zu reduzieren.
Mit dem „auflösenden Perimeter“ ist gemeint, dass traditionelle Netzwerkgrenzen aufgrund von Faktoren wie Mobilgeräten sowie Cloud- und Edge-Computing immer weniger definiert sind. Im Kontext von Edge-KI bedeutet die Auflösung des Perimeter, dass Edge-KI-Geräte üblicherweise in Remote- und dynamischen Netzwerkumgebungen am Netzwerkrand eingesetzt werden und außerhalb von Rechenzentrums- oder Cloud-Umgebungen und jenseits herkömmlicher perimeterbasierter Sicherheitsmaßnahmen wie Firewalls oder Intrusion Detection Systems betrieben werden. Daher werden an die Edge-KI-Sicherheit besondere Anforderungen gestellt und sie muss optimiert werden, um Schutz vor Bedrohungen wie unbefugtem Zugriff an isolierten Standorten und in komplexen, verteilten Umgebungen zu bieten, die das Sicherheitsmanagement und die Transparenz zu einer Herausforderung machen.
Darüber hinaus stellen APIs das Bindegewebe bereit, das es mehreren Teilen von KI-Anwendungen ermöglicht, Daten und Anweisungen auszutauschen. Der Schutz dieser API-Verbindungen und der darüber laufenden Daten ist eine kritische Sicherheitsherausforderung, der sich Unternehmen bei der Bereitstellung KI-gestützter Anwendungen stellen müssen. Dies erfordert die Bereitstellung von Web-App- und API-Schutzdiensten, die Endpunkte dynamisch erkennen und automatisch vor einer Vielzahl von Risiken schützen.
LMMs sind Modelle künstlicher Intelligenz, die auf riesigen Mengen an Textdaten basieren und darauf trainiert sind, natürliche Sprachausgaben mit bemerkenswerter, menschenähnlicher Flüssigkeit und Kohärenz zu verstehen und zu generieren. LLMs, die das Herzstück generativer KI-Anwendungen bilden, werden typischerweise anhand von Eingabedaten und Inhalten trainiert, die systematisch aus dem Internet, darunter Online-Büchern, Posts, Websites und Artikeln, zusammengetragen werden. Diese Eingabedaten sind jedoch Angriffen durch böswillige Akteure ausgesetzt, die die Eingabedaten absichtlich manipulieren, um die Leistung generativer KI-Modelle zu beeinträchtigen oder zu beeinträchtigen. Dies kann zu Schwachstellen, Verzerrungen, unzuverlässigen Ergebnissen, Datenschutzverletzungen und der Ausführung nicht autorisierten Codes führen.
Zu den größten Sicherheitsrisiken für LLMs zählen:
Um diese Sicherheitsherausforderungen zu bewältigen, ist ein vielschichtiger Ansatz erforderlich, der sofortige Injektionen verhindert und Techniken wie sofortige Bereinigung, Eingabevalidierung und sofortige Filterung einsetzt, um sicherzustellen, dass das Modell nicht durch böswillig erstellte Eingaben manipuliert wird. Um DoS-Angriffen entgegenzuwirken, entwickeln Sie eine mehrschichtige Verteidigungsstrategie, die Ratenbegrenzung, Anomalieerkennung und Verhaltensanalyse umfasst, um verdächtige oder böswillige Netzwerkaktivitäten zu erkennen und zu identifizieren. Um diese Risiken wirksam zu managen, entwickelt sich die Branche noch immer weiter, was zu einer schnellen Entwicklung von LLM-Proxys, Firewalls, Gateways und sicherer Middleware innerhalb von Anwendungs-Stacks führt.
Edge AI ist Teil einer sich rasch entwickelnden Reihe von Technologien am Netzwerkrand, die eine neue Ära intelligenter, reaktionsschneller und effizienterer Computerumgebungen einläuten. Diese Technologien eröffnen an der Schnittstelle zwischen Prozessor-, Netzwerk-, Software- und Sicherheitsentwicklung neue Möglichkeiten für Innovation und Transformation in allen Branchen. Diese Edge-Computing-Anwendungsfälle nutzen die Vorteile von Echtzeitanalysen und Entscheidungsfindung am Netzwerkrand. Dadurch können Unternehmen Daten näher an der Quelle verarbeiten und analysieren und die Reaktionszeiten für latenzempfindliche Anwendungen verbessern oder die Bereitstellung von Inhalten in Echtzeit sicherstellen.
Durch die Verteilung von Computerressourcen über den Netzwerkrand hinweg können sich Unternehmen außerdem schnell an veränderte Arbeitslastanforderungen anpassen und die Ressourcennutzung optimieren, um die Gesamtsystemleistung und -effizienz zu verbessern. Diese Möglichkeiten sind teilweise auf die Entwicklung spezieller Komponenten für die Edge-Computing-Infrastruktur zurückzuführen, wie etwa Edge-Server, Edge-Computing-Plattformen und -Bibliotheken sowie AI-on-Chip-Prozessoren, die die notwendigen Rechen-, Speicher- und Netzwerkressourcen zur Unterstützung von Edge-AI-Anwendungen bereitstellen.
Edge-KI hat bei der Renaissance der Infrastruktur am Netzwerkrand eine entscheidende Rolle gespielt, und die Integration von KI in das IoT treibt weiterhin intelligente Entscheidungsfindung am Rand voran und fördert revolutionäre Anwendungen im Gesundheitswesen, der industriellen Automatisierung, der Robotik, intelligenten Infrastruktur und mehr.
TinyML ist ein Ansatz für ML und KI, der sich teilweise auf die Erstellung leichtgewichtiger Software-ML-Modelle und -Algorithmen konzentriert, die für den Einsatz auf ressourcenbeschränkten Edge-Geräten wie Mikrocontrollern und Edge-KI-Geräten optimiert sind. Auf TinyML basierende Algorithmen sind auf Energieeffizienz ausgelegt und können Inferenzaufgaben lokal ausführen, ohne auf Cloud-Ressourcen angewiesen zu sein.
Darüber hinaus werden kompakte und leistungsstarke Prozessoren wie DPUs – spezialisierte Hardwarekomponenten, die die CPU von Datenverarbeitungsaufgaben entlasten und diese beschleunigen – zunehmend im Edge-Computing und bei KI-/ML-Workloads eingesetzt, wo die effiziente Verarbeitung großer Datenmengen für Leistung und Skalierbarkeit von entscheidender Bedeutung ist. Diese Effizienz ist insbesondere in Edge-Computing-Umgebungen wertvoll, in denen Strombeschränkungen den Einsatz energieintensiver GPU-Lösungen einschränken können.
Durch die Verknüpfung dieser Innovationen in einem Edge-to-Cloud-to-Datacenter-Kontinuum entsteht eine neue Generation von Netzwerklösungen, die eine nahtlose Datenverarbeitung, -analyse und -beobachtung über verteilte Architekturen hinweg ermöglichen, einschließlich Hybrid-, Multi-Cloud- und Edge-Computing-Ressourcen. Diese Netzwerke werden sich zunehmend auf APIs stützen, die wesentliche Komponenten von Edge-Computing-Plattformen sind, da sie die Kommunikation, Integration und Automatisierung erleichtern und so einen nahtlosen Datenaustausch und eine nahtlose Datensynchronisierung innerhalb verteilter Computerumgebungen ermöglichen. APIs ermöglichen außerdem die Interoperabilität zwischen verschiedenen Edge-Geräten, -Systemen und -Diensten, indem sie standardisierte Schnittstellen bereitstellen, was auch eine dynamische Bereitstellung, Verwaltung und Kontrolle von Edge-Ressourcen und -Diensten ermöglicht.
In diesen weitreichenden verteilten Architekturen können Daten an mehreren Punkten des Kontinuums sicher verarbeitet und analysiert werden – von Edge-Geräten in der Nähe der Datenquellen bis hin zu zentralisierten – oder verteilten – Cloud-Servern in Rechenzentren. Dieses Edge-to-Everywhere-Kontinuum ermöglicht es Unternehmen, die Stärken mehrerer Computerumgebungen sicher zu nutzen und traditionelle und KI-Workloads zu integrieren, um die vielfältigen Anforderungen moderner Anwendungen zu erfüllen.
F5 ist der einzige Lösungsanbieter, der jede App und jede API überall und über alle verteilten Umgebungen hinweg sichert, bereitstellt und optimiert, einschließlich KI-Anwendungen am Netzwerkrand. KI-basierte Apps sind die modernsten modernen Apps. Zwar gelten für Systeme, die GenAI verwenden, besondere Überlegungen, wie etwa LLM-Risiken und verteilte Inferenz, doch sind auch diese Anwendungen anfällig für Latenz, Denial-of-Service-Angriffe, Software-Schwachstellen und Missbrauch durch böswillige Akteure mithilfe von Bots und bösartiger Automatisierung.
Neue KI-gesteuerte digitale Erlebnisse sind stark verteilt und umfassen einen Mix aus Datenquellen, Modellen und Diensten, die sich über lokale, Cloud- und Edge-Umgebungen erstrecken und alle durch ein wachsendes Netzwerk von APIs verbunden sind, die erhebliche Sicherheitsherausforderungen mit sich bringen. Der Schutz dieser API-Verbindungen und der darüber laufenden Daten ist die entscheidende Sicherheitsherausforderung, der sich Unternehmen stellen müssen, wenn sie mehr KI-gestützte Dienste einsetzen.
F5 Distributed Cloud Services bietet die branchenweit umfassendste, KI-fähige API-Sicherheitslösung mit API-Codetests und Telemetrieanalyse zum Schutz vor komplexen KI-gestützten Bedrohungen und erleichtert gleichzeitig die Sicherung und Verwaltung von Multi-Cloud- und Edge-Anwendungsumgebungen. Die Multi-Cloud-Networking-Lösungen von F5 bieten SaaS-basierte Netzwerke mit Verkehrsoptimierung sowie Sicherheitsdienste für öffentliche und private Clouds und Edge-Bereitstellungen über eine einzige Konsole und verringern so den Verwaltungsaufwand Cloud-abhängiger Dienste und mehrerer Drittanbieter. Mit den Netzwerklösungen von F5 erhalten Sie beschleunigte KI-Bereitstellungen, durchgängiges Richtlinienmanagement und Beobachtbarkeit für eine vollständig automatisierbare und zuverlässige Infrastruktur.
Darüber hinaus ist das neue F5 AI Data Fabric eine Grundlage für die Entwicklung innovativer Lösungen, die Kunden dabei helfen, fundiertere Entscheidungen zu treffen und schneller zu handeln. Telemetrie von Distributed Cloud Services, BIG-IP und NGINX liefern gemeinsam beispiellose Einblicke, erstellen Echtzeitberichte, automatisieren Aktionen und unterstützen KI-Agenten.
F5 bringt außerdem einen KI-Assistenten auf den Markt, der über eine natürliche Sprachschnittstelle die Art und Weise verändern wird, wie Kunden mit F5-Lösungen interagieren und diese verwalten. Der KI-Assistent wird durch das F5 AI Data Fabric unterstützt und kann Datenvisualisierungen generieren, Anomalien identifizieren, Richtlinienkonfigurationen abfragen und generieren sowie Schritte zur Behebung der Probleme durchführen. Darüber hinaus fungiert es als integrierter Kundensupport-Manager, der es Kunden ermöglicht, Fragen zu stellen und Empfehlungen auf der Grundlage von Modelltrainings ganzer Produktwissensdatenbanken zu erhalten.
Indem sie Ihre KI-basierten Apps vom Rechenzentrum bis zum Rand mit Strom versorgen und schützen, bieten F5-Lösungen leistungsstarke Tools, die vorhersehbare Leistung und Sicherheit liefern, sodass Sie den größtmöglichen Nutzen aus Ihren KI-Investitionen ziehen können.