Wie Bots große Sprachmodelle angreifen: Die OWASP LLM Top 10

1. Sofortige Injektion

Bei einem Prompt-Injection-Angriff wird versucht, das Verhalten von LLMs auf böswillige Weise zu ändern, was laut OWASP dazu führen kann, dass die Modelle „Richtlinien verletzen, schädliche Inhalte generieren, unbefugten Zugriff ermöglichen oder kritische Entscheidungen beeinflussen“. Um das Verhalten von Modellen durch Eingabeaufforderungen zu beeinflussen, kann es für den Angreifer durchaus notwendig sein, viele Eingabeaufforderungen einzufügen – das Modell also mit schädlichen Eingabeaufforderungen zu überfluten, um entweder den Schaden zu maximieren oder eine Eingabeaufforderung zu finden, die das gewünschte Ergebnis erzielt. Um eine ausreichend große Zahl bösartiger Eingabeaufforderungen einzugeben, benötigen Angreifer Bots zur Automatisierung. 

2. Offenlegung vertraulicher Informationen

Im Wettlauf um die Entwicklung von LLMs, die Mitarbeitern und Kunden einen geschäftlichen Mehrwert bieten, trainieren Unternehmen ihre Modelle auf riesigen, unternehmenseigenen Datenspeichern. Diese Datenspeicher können jedoch vertrauliche Informationen enthalten, darunter personenbezogene Daten und Geschäftsgeheimnisse. Angreifer werden diese Modelle mit ziemlicher Sicherheit untersuchen, in der Hoffnung, an diese sensiblen Daten gelangt zu sein. Und weil Angreifer möglicherweise nicht genau wissen, nach welchen Daten sie suchen und wie sie gezielt danach fragen, greifen sie möglicherweise zu einem Brute-Force-Ansatz und geben viele Eingabeaufforderungen aus, in der Hoffnung, dass eine davon wertvolle vertrauliche Informationen preisgibt. Um eine große Anzahl von Eingabeaufforderungen gegen Modelle auszuführen, setzen Angreifer, die ihre Angriffe skalieren möchten, Bots ein.

3. Lieferkette

Wie jedes Informationssystem unterliegen LLMs Abhängigkeiten, darunter Trainingsdaten, Basismodelle und Bereitstellungsplattformen. Das bedeutet, dass Angreifer ein LLM kompromittieren können, indem sie seine Lieferkette kompromittieren. Um Abhängigkeiten zu kompromittieren, werden Angreifer wahrscheinlich Bots verwenden, um Datenspeicher mit falschen Informationen zu manipulieren, Authentifizierungssysteme mit Credential Stuffing oder Echtzeit-Phishing-Proxys zu knacken und nach Autorisierungsschwachstellen zu suchen.

4. Daten- und Modellvergiftung

Bei der Datenvergiftung manipulieren Angreifer Daten vor dem Training, beim Feintuning oder beim Einbetten, um Schwachstellen, Hintertüren oder Verzerrungen einzuführen. Laut OWASP „kann diese Manipulation die Sicherheit, Leistung oder das ethische Verhalten des Modells gefährden und zu schädlichen Ergebnissen oder beeinträchtigten Funktionen führen.“ Angreifer können Daten auf viele verschiedene Arten manipulieren, doch Bots sind bei vielen Angriffsarten ein gängiges Werkzeug – vom Brechen der Authentifizierung oder Autorisierung bis zum Einfügen gefälschter Daten in Datenspeicher über Anwendungen ohne Bot-Schutz.

5. Unsachgemäße Ausgabeverarbeitung

Unter unsachgemäßer Ausgabebehandlung versteht man das Versäumnis zu prüfen, ob die Ausgabe eines LLM-Modells einem System schaden könnte, das auf diese Ausgabe angewiesen ist. Während sich die Schwachstellen in der Lieferkette sowie bei Daten- und Modellvergiftungen auf Beeinträchtigungen der Systeme vor dem LLM-Modell beziehen, wirkt sich eine unsachgemäße Ausgabeverarbeitung auf die Systeme nach dem LLM-Modell aus, d. h. auf Systeme, die von der Ausgabe des LLM-Modells abhängen. Laut OWASP kann „die erfolgreiche Ausnutzung einer Sicherheitslücke im Bereich der Ausgabeverarbeitung zu Cross-Site-Scripting (XSS) und Cross-Site-Request-Forgery (CSRF) in Webbrowsern sowie zu Server-Side-Request-Forgery (SSRF), Rechteausweitung oder Remotecodeausführung auf Backend-Systemen führen.“

Anders ausgedrückt: Der Angreifer verwendet das LLM, um eine andere Anwendung anzugreifen, die auf die LLM-Ausgabe angewiesen ist. Ein Angreifer kann diese Sicherheitslücke zwar durch sorgfältig von Hand erstellte Eingaben in eine Anwendung ausnutzen, doch er kann auch versuchen, den Angriff mit roher Gewalt durch Automatisierung durchzuführen, indem er viele Varianten ausprobiert, um eine Eingabe zu finden, die eine Ausgabe erzeugt, die einer nachgelagerten Anwendung schadet. Die Automatisierung versucht, böswillige Ausgaben aus dem Modell zu erzwingen und zu testen, ob die Ausgabe die gewünschten schädlichen Auswirkungen auf die Anwendung hatte. Um diese Art der Untersuchung zu skalieren, sind Bots erforderlich.

6. Übermäßige Handlungsfreiheit

Übermäßige Handlungsfreiheit ist eine Form der Privilegienerweiterung, die über ein LLM-basiertes System durchgeführt wird. Die Sicherheitslücke entsteht durch ein LLM-basiertes System, das mit erhöhten Berechtigungen ausgeführt wird und dadurch Funktionen aufrufen oder eine Schnittstelle zu anderen Systemen herstellen kann. Der Angreifer weiß nicht, wo das LLM-basierte System die Berechtigungen erhöht hat oder wie er diese Erhöhung ausnutzen kann. Er wird wahrscheinlich die Automatisierung nutzen, um mehrere Eingabeaufforderungen einzugeben, in der Hoffnung, eine Erhöhung der Berechtigungen auszulösen und auszunutzen.

7. System fordert Leckage auf

Auf LLMs basierende Anwendungen stellen dem LLM häufig Systemanweisungen zur Verfügung, die das Verhalten des Modells steuern, um die Anforderungen der Anwendung zu erfüllen. In der Praxis können Systemaufforderungen Geheimnisse enthalten: Verbindungszeichenfolgen zu Datenbanken, proprietären Code, geistiges Eigentum oder andere Inhalte, die Unternehmen schützen sollten. System fordert Leckage aufist also eine spezielle Form der Prompt-Injektion, die dazu führt, dass eine Anwendung unbeabsichtigt ihre Systemanweisungen preisgibt.

Es ist nicht trivial, einen LLM durch Eingabeaufforderungen dazu zu bringen, diese Geheimnisse preiszugeben, und es ist ziemlich sicher, dass Angreifer automatisierte Skripte entwickeln werden, um effektiver nach in Systemaufforderungen eingebetteten vertraulichen Daten zu suchen.

8. Vektor- und Einbettungsschwächen

LLM-Anwendungen verbessern die Modellausgabe häufig durch erweiterten Kontext, der den Modellen durch eine als Retrieval-Augmented Generation (RAG) bezeichnete Technik bereitgestellt wird. Der den LLMs über RAG bereitgestellte Inhalt ist kein Rohtext, sondern vielmehr vorverarbeitete Vektoren mit eingebetteten Metadaten und Inhalten. Laut OWASP können „Schwachstellen bei der Generierung, Speicherung und Abfrage von Vektoren und Einbettungen durch böswillige Aktionen (absichtlich oder unabsichtlich) ausgenutzt werden, um schädliche Inhalte einzuschleusen, Modellausgaben zu manipulieren oder auf vertrauliche Informationen zuzugreifen.“ Mit anderen Worten: Angreifer können den RAG-Inhalt und dessen Verarbeitung ausnutzen, um das LLM-System anzugreifen.

Unternehmen implementieren ihre eigenen Prozesse und definieren den Umfang des RAG-Inhalts, um die speziellen Anforderungen ihrer Organisation zu erfüllen. Dies bedeutet, dass der Inhalt und seine Mängel für die Organisation einzigartig sind. Aus Sicht des Angreifers wird das Entdecken dieser Schwachstellen nicht einfach sein und sicherlich eine automatisierte Erkundung, also den Einsatz von Bots, erfordern.

9. Falsche Informationen

Wenn LLMs falsche oder irreführende Informationen produzieren, kann es bei Systemen, die auf diese Informationen angewiesen sind, zu Fehlfunktionen kommen, was zu Sicherheitsverletzungen, Reputationsschäden und rechtlicher Haftung führen kann. LLMs können aufgrund von Halluzinationen oder aufgrund von Voreingenommenheit und Lücken in den Trainingsdaten Fehlinformationen produzieren.  

Angreifer, die Halluzinationen ausnutzen möchten, werden ihre Eingabeaufforderungen und Reaktionsanalysen wahrscheinlich automatisieren. Durch die Automatisierung des Codegenerierungsprozesses, also die Verwendung eines LLM zum Generieren vieler Computercodeinstanzen, können Angreifer beispielsweise Codeverweise auf Softwarebibliotheken finden, die tatsächlich nicht existieren. Der Angreifer kann dann in dem vom LLM halluzinierten Code-Repository eine Bibliothek für Schadsoftware erstellen. Wenn der vom LLM generierte Code nicht ausreichend überprüft wird, wird die schädliche Bibliothek in das veröffentlichte Produkt eingebettet.

Angreifer können Bots ebenfalls zur Manipulation von Trainingsdaten verwenden, indem sie absichtlich große Datenmengen eingeben, um das Modell zu verzerren.

10. Grenzenloser Konsum

Die zehnte OWASP-LLM-Schwachstelle, „unbounded consumption “, weist eine enge Entsprechung zur OWASP-API-Schwachstelle namens „unrestricted resource consumption“ sowie zur automatisierten OWASP-Bedrohung namens „Denial of Service“ auf. Der Angreifer überschreitet die erwartete Anzahl an Anfragen in einem solchen Ausmaß, dass es beim Inferenzdienst zu einer Diensteverweigerung, Leistungseinbußen und übermäßigen Kosten kommt. Laut OWASP „machen die hohen Rechenleistungsanforderungen von LLMs, insbesondere in Cloud-Umgebungen, sie anfällig für Ressourcenausbeutung und unbefugte Nutzung.“ Um die erwartete Nutzung zu überschreiten, werden Angreifer mit ziemlicher Sicherheit Bots verwenden, um das Anforderungsvolumen zu skalieren.

Implementieren von Bot-Schutz

Viele Unternehmen stehen unter dem Druck, KI-Funktionen schnell auf den Markt zu bringen, und die Sicherheitsauswirkungen von LLMs sind noch nicht vollständig verstanden. Daher sollten sie die Implementierung eines Bot-Schutzes für LLM-basierte Anwendungen sowie für die Anwendungen in Erwägung ziehen, die Daten in LLM-Modelle einspeisen. Je mehr Angriffe Gegner starten können, desto größer sind ihre Erfolgschancen. F5 bietet mit F5 Distributed Cloud Bot Defense einen besonders effektiven Bot-Schutzdienst an, der auf KI basiert und Unternehmen dabei hilft, die Oberhand gegenüber Gegnern zu gewinnen, die Bots und Automatisierung nutzen, um LLM-Anwendungen anzugreifen.

Erfahren Sie mehr über Distributed Cloud Bot Defense.