Auswirkungen generativer KI auf die Anwendungsleistung
Es gibt zahlreiche Studien zur Ungeduld der Verbraucher. Sie werfen eine App weg, löschen eine App und beschweren sich lautstark in den sozialen Medien, wenn eine App schlecht funktioniert. Und für viele bedeutet „schlecht“: „reagiert in mehr als ein paar Sekunden.“
Hier kommt die generative KI ins Spiel, die Erfahrungen und Benchmarks zufolge im Allgemeinen viel länger als ein paar Sekunden braucht, um zu reagieren. Doch wie bei unseren Textgesprächen mit Freunden und Familie wird uns, während Chatbots „nachdenken“, ein animiertes „…“ präsentiert, um uns mitzuteilen, dass eine Antwort bevorsteht.
Aus irgendeinem Grund löst die Animation eine nahezu digitale pawlowsche Reaktion aus, die uns bereitwillig warten lässt. Vielleicht liegt der Grund in der Psychologie des Anthropomorphismus, die dazu führt, dass wir Nicht-Menschen mit menschenähnlicher Persönlichkeit freundlicher begegnen. Da wir die KI als zumindest menschenähnlich wahrnehmen, erweisen wir ihr die gleiche Gnade, die wir, nun ja, einem Menschen erweisen würden.
Was auch immer der Grund für unsere Bereitschaft ist, auf die heutige KI-Benutzererfahrung zu warten, es wirft die Frage auf, wie weit diese Gnade reichen wird und wie lange? Da immer mehr Anwendungen integriert, erweitert und mit KI-Funktionen ausgestattet werden, wird es immer wichtiger, die Frage nach einer akzeptablen Leistung zu beantworten.
Wie viel Latenz ist für ein KI-Benutzererlebnis akzeptabel? Ist es wichtig, wo diese Latenz auftritt, oder ist sie nur akzeptabel, wenn wir wissen, dass generative KI im Spiel ist?
Dies ist ein wichtiger zu untersuchender Bereich, da wir wissen, dass die Einführung von Latenz in den Prozess eines der Tabus der Anwendungssicherheit ist. Trotz der Tatsache, dass für die Überprüfung und Bewertung von Inhalten hinsichtlich bekannter Bedrohungen (SQLi, Schadcode, schnelle Injektion) eine gewisse Latenzzeit erforderlich ist, schalten Benutzer von Anwendungssicherheitsdiensten jede Lösung, die zu Leistungseinbußen führt, schnell ab.
Ich zeige Ihnen Beweisstück A, die Antworten auf eine Frage zu diesem Thema aus unserer Umfrage zum Stand der Anwendungsstrategie 2022 , in der knapp 60 % der IT- und Unternehmensleiter Sicherheitskontrollen für eine Leistungssteigerung zwischen 1 % und 50 % deaktivieren würden.
Es ist klar, dass die Leistung eine Rolle spielt und Latenz als etwas sehr Schlechtes™ angesehen wird. Die Frage ist also, wie viel Latenz für das KI-Benutzererlebnis akzeptabel ist. Sind die alten Maßstäbe „Die Antwort muss weniger als X Sekunden betragen“ noch anwendbar? Oder verschiebt die KI diese Grenze für alle Apps weiter oder nur für diejenigen, die offensichtlich auf KI basieren?
Und wenn unsere Geduld nur eine anfängliche Reaktion ist, die teilweise auf die Neuheit der generativen KI zurückzuführen ist, was tun wir, wenn der Neuheitseffekt nachlässt?
Wenn das Inferenzieren, wie es derzeit der Trend ist, schneller wird, wird sich diese Frage vielleicht erübrigen. Wenn das jedoch nicht der Fall ist, müssen dann die Komponenten und Dienste, die KI bereitstellen, sichern und unterstützen, noch schneller sein, um die langsame Inferenz auszugleichen?
So schnell entwickelt sich die Branche. Wir haben Fragen, die weitere Fragen aufwerfen, und bevor wir Antworten haben, tauchen neue Fragen auf. Der Rückstand unbeantworteter Fragen ähnelt den Problemtickets in einem Unternehmen, wo jemand einen zentralen Switch ausgesteckt hat und dann die gesamte IT das Weite suchte.
Wir wissen, dass sich die Bereitstellung und Sicherheit von Apps durch KI ändern wird. Sowohl hinsichtlich der Bedürfnisse derjenigen, die KI zur Verbesserung der Kunden- und Unternehmensabläufe nutzen möchten, als auch derjenigen, die die Lösungen dafür entwickeln. Die offensichtlichen Lösungen – KI-Gateways, Datensicherheit und Abwehrmaßnahmen gegen herkömmliche Angriffe wie DDoS – sind leicht zu beantworten, und wir arbeiten bereits daran. Doch die langfristigen Auswirkungen zu verstehen, ist eine weitaus schwierigere Aufgabe, insbesondere wenn es um die Leistung geht.
Denn die andere Realität ist, dass wir mit der Hardware nur bis zu einem gewissen Punkt kommen, bevor wir an physikalische Grenzen stoßen. Dann liegt es an der übrigen Branche, herauszufinden, wie sich die Leistung dieser zweifellos kritischen Komponente jedes Unternehmens verbessern lässt.