GPU 最適化に重点を置く AI インフラストラクチャ ソリューションの必要性

これは、GPU の需要が高く、供給が少ないためです。 組織はすでに、この強力なハードウェアに全体の IT 予算のかなりの割合を費やしているか、費やすことを計画しています。 その投資の一部は自社のインフラストラクチャに向けられ、一部はパブリック クラウド インフラストラクチャのサポートに充てられます。

しかし、それはすべて、 AI アプリケーションを動作させるための GPU リソースの可用性をサポートすることになります。

しかし、周囲を見渡すと、インフラに新しいタイプのリソースを導入することは課題を伴うことがわかります。 長年にわたり、組織はインフラストラクチャを商品として扱ってきました。 つまり、すべて同じです。

そしてそれは大体その通りでした。 組織は、すべて同じメモリとコンピューティング機能を備えたホワイト ボックスまたは有名ブランドのサーバーを標準化しました。 これにより、トラフィック管理でワークロードが server8756 で実行されるか server4389 で実行されるかを気にする必要がなくなったため、インフラストラクチャの運用が容易になりました。 彼らは同じ能力を持っていました。

しかし今はどうですか? ああ、GPU はすべてを変えます。 インフラストラクチャ運用では、GPU リソースがどこにあり、どのように使用されているかを把握する必要があります。 そして、あまりうまくいっていないかもしれない兆候もあります。

「2024 年の AI インフラストラクチャの現状」によると、「15% の企業が、利用可能な購入済み GPU の 50% 未満しか使用されていないと報告しています。」

さて、これらの 15% の組織には、GPU リソースの 50% 以上を使用するのに必要な負荷がない可能性は確かにあります。 そうである可能性もあれば、そうでない可能性もあります。

確かに、一部の組織は後者のカテゴリに属し、GPU の空き容量が十分にあるのに、なぜ AI アプリがユーザーの期待どおりに機能しないのかと頭を悩ませているでしょう。

その一部はインフラストラクチャに関するもので、ワークロードが必要なリソースに適切に適合していることを確認することです。 結局のところ、AI アプリのすべてのワークロードに GPU 容量が必要なわけではありません。 これによって恩恵を受けるワークロードは推論サーバーであり、他にはあまりありません。 つまり、インフラストラクチャ層で戦略的なアーキテクチャが機能し、GPU を大量に消費するワークロードが GPU 対応システムで実行され、他のアプリ ワークロードが通常の古いシステムで実行されるようになります。

つまり、どのノードが GPU 対応で、どのノードがそうでないかを認識するプロビジョニング ポリシーが必要です。 これは GPU 最適化の大きな部分を占めます。 また、これらのリソースにリクエストを分散するアプリ サービスもよりスマートになる必要があることも意味します。 負荷分散、イングレス制御、およびリクエストを分散するゲートウェイは、インフラストラクチャの使用率に関して効率性を決定する要素です。 すべてのリクエストが 1 つまたは 2 つの GPU 対応システムに送信されると、パフォーマンスが低下するだけでなく、多額の現金を支払って購入した「予備の」 GPU 容量が組織に残されることになります。

また、パブリック クラウドで GPU リソースを活用することも意味するかもしれません。 そして、それを実現するには、ネットワーク サービスを活用して、共有されるデータの安全性を確保する必要があります。

言い換えれば、AI アプリケーションは、分散性やリアルタイムでのプロビジョニングと管理の点で、インフラストラクチャに大きな影響を与えることになります。 運用部門が利用可能なリソースとその場所に関する最新の情報を把握できるようにするためのテレメトリと、プロビジョニングがワークロード要件に一致するようにするための適切な自動化の必要性が高まります。

このため、組織はエンタープライズ アーキテクチャ全体を最新化する必要があります。 もはやレイヤーや階層だけの問題ではなく、それらのレイヤーや階層がどのように相互接続され、サポートし合い、 AI の力を活用できるデジタル的に成熟したビジネスのニーズを促進するかが重要になります。