ジェネレーティブ AI がアプリケーション パフォーマンスに与える影響
消費者のせっかちさに関する研究は数多くある。 アプリのパフォーマンスが悪いと、彼らはアプリを放棄したり削除したり、ソーシャル メディアで大声で不満を述べたりします。 そして多くの人にとって、不十分とは「数秒以上で応答する」ことを意味します。
生成 AIの登場です。経験とベンチマークに基づくと、生成 AI の応答には通常、数秒よりもはるかに長い時間がかかります。 しかし、友人や家族とのテキストでの会話と同様に、チャットボットが「考えている」間、応答が近づいていることを示すアニメーションの「…」が表示されます。
何らかの理由で、このアニメーションは、ほぼデジタル的なパブロフの反応を引き起こし、私たちに待つ意欲を起こさせます。 おそらくその理由は、人間のような性格を与えられた非人間に対して私たちがより好意的に見る傾向がある擬人化心理学にあるのでしょう。 したがって、私たちは AI を少なくとも人間に似ていると認識しているため、人間に与えるのと同じ恩恵を AI に与えているのです。
今日の AI ユーザー エクスペリエンスを待つ理由が何であれ、その猶予はどこまで続くのか、そしてどれくらい続くのかという疑問が生じます。 ますます多くのアプリケーションがAI 機能と統合、拡張、搭載されるようになるにつれて、許容可能なパフォーマンスに関する質問への回答がますます重要になります。
AI ユーザー エクスペリエンスでは、どの程度の遅延が許容されるのでしょうか? その遅延がどこで発生するかは重要ですか、それとも生成 AI が関与していることがわかっている場合にのみ許容されるのでしょうか?
アプリケーション セキュリティのタブーの 1 つがプロセスに遅延を導入することであるため、これは調査する上で重要な領域です。 SQLi、悪意のあるコード、プロンプトインジェクションなどの既知の脅威に対してコンテンツを検査および評価するには遅延が必要であるという現実にもかかわらず、アプリケーション セキュリティ サービスのユーザーは、パフォーマンスの低下を引き起こすソリューションをすぐにシャットダウンします。
証拠 A として、 2022 年のアプリケーション戦略の現状に関する調査からこのトピックに関する質問への回答を示します。この調査では、IT リーダーとビジネス リーダーの両方の約 60% が、パフォーマンスが 1% から 50% 向上するためにセキュリティ制御をオフにすると回答しています。
明らかにパフォーマンスは重要であり、レイテンシーは非常に悪いことだと考えられています。 そこで疑問になるのは、AI ユーザー エクスペリエンスにおいてどの程度の遅延が許容されるのかということです。 「応答は X 秒未満でなければならない」という古い基準はまだ適用できますか? あるいは、AI はすべてのアプリに対して、あるいは明らかに AI であるアプリに対してのみ、その限界をさらに押し広げているのでしょうか。
そして、私たちの忍耐が、生成AIの目新しさによる最初の反応に過ぎないとしたら、目新しさが薄れてきたら私たちはどうするのでしょうか?
現在の傾向のように推論が高速化すれば、おそらくその疑問は無意味になるだろう。 しかし、そうでない場合、推論の遅さを補うために、AI を提供、保護、サポートするコンポーネントとサービスをさらに高速化する必要があるのでしょうか?
業界の動きはまさにこの速さです。 疑問がさらなる疑問を生み出し、答えが出る前に新たな疑問が生じます。 未回答の質問のバックログは、誰かがコアスイッチのプラグを抜いて、その日の IT 部門全体が退社した企業でのトラブル チケットのように見えます。
AI によってアプリの配信とセキュリティが変化することはわかっています。AI を使用して顧客と企業の業務を強化したい人々のニーズと、そのためのソリューションを構築する人々のニーズの両方において変化が起こります。 明らかな解決策、つまり AI ゲートウェイ、データ セキュリティ、 DDoSなどの従来の攻撃に対する防御は簡単に答えられ、私たちはすでにそれに取り組んでいます。 しかし、長期的な影響を理解することは、特にパフォーマンスに関しては、はるかに困難な作業です。
もう一つの現実は、ハードウェアは物理的な制約にぶつかるまでは私たちをそこまで導くことはできず、そうなると、あらゆるビジネスにとって間違いなく重要な要素となるもののパフォーマンスを向上させる方法を見つけ出すのは、業界の他の企業にかかってくるということです。