Ingress コントローラーを使用して Kubernetes で AI/ML ワークロードをスケーリング、保護、監視する

AI と機械学習 (AI/ML) のワークロードは、企業の運営とイノベーションの方法に革命をもたらしています。 クベネフィットは、コンテナ オーケストレーションと管理の事実上の標準であり、ハイブリッド マルチクラウド環境全体でスケーラブルな大規模言語モデル (LLM) ワークロードと推論モデルを強化するためのプラットフォームとして最適です。

Kubernetes では、Ingress コントローラーはコンテナ化されたアプリケーションの配信とセキュリティ保護において重要な役割を果たします。 Kubernetes クラスターのエッジにデプロイされ、ユーザーとアプリケーション間の通信を処理する中心ポイントとして機能します。

このブログでは、Ingress コントローラとF5 NGINX Connectivity Stack for Kubernetes が、 AI/ML ワークロードのモデルの提供、実験、監視、セキュリティを簡素化および合理化するためにどのように役立つかについて説明します。

AI/ML モデルを大規模に本番環境に導入する

AI/ML モデルを大規模に導入する場合、すぐに使用できる Kubernetes の機能と機能が役立ちます。

• AI/ML アプリケーションのリリース ライフサイクルを加速および簡素化します。
• さまざまな環境間での AI/ML ワークロードの移植性を実現します。
• コンピューティング リソースの利用効率と経済性を向上させます。
• スケーラビリティを実現し、生産準備を実現します。
• ビジネス SLA を満たすように環境を最適化します。

同時に、組織は、大規模な本番環境で AI/ML モデルを提供、実験、監視、保護する際に課題に直面する可能性があります。

• 複雑さとツールの無秩序な増加により、組織がオンプレミス、クラウド、エッジで Kubernetes 環境を構成、運用、管理、自動化、トラブルシューティングすることが困難になっています。
• ポッドの障害や再起動、自動スケーリング、非常に高いリクエスト レートなどの動的イベントによる接続タイムアウトやエラーにより、ユーザー エクスペリエンスが低下します。
• 集約されたレポートと、詳細なリアルタイムおよび履歴メトリックの欠如により、複雑な Kubernetes 環境ではパフォーマンスの低下、ダウンタイム、トラブルシューティングの遅延と困難が発生します。
• 従来のセキュリティ モデルは疎結合の分散アプリケーションを保護するように設計されていないため、ハイブリッドのマルチクラウド Kubernetes 環境ではサイバーセキュリティの脅威にさらされる重大なリスクがあります。

F5 NGINX Ingress Controllerなどのエンタープライズ クラスの Ingress コントローラーは、これらの課題の解決に役立ちます。 Ingress コントローラー、ロード バランサー、API ゲートウェイ機能を組み合わせた 1 つのツールを活用することで、Kubernetes を実行する場所に関係なく、大規模な稼働時間、保護、可視性を向上させることができます。 さらに、複雑さと運用コストも削減されます。

NGINX Ingress Controller は、業界をリードするF5 のレイヤー 7 アプリ保護テクノロジーと緊密に統合することもでき、 LLM アプリケーションに対する OWASP トップ 10 のサイバー脅威を軽減し、AI/ML ワークロードを DoS 攻撃から防御するのに役立ちます。

AI/ML ワークロード向け Ingress コントローラの利点

Ingress コントローラは、次の機能を通じて、本番環境での AI/ML ワークロードのデプロイと実行を簡素化および合理化できます。

• モデル サービング- Kubernetes ネイティブの負荷分散、自動スケーリング、レート制限、動的再構成機能を使用して、中断することなくアプリを配信します。
• モデル実験- ブルーグリーンおよびカナリアデプロイメント、および A/B テストを実装して、ダウンタイムなしで新しいバージョンとアップグレードを展開します。
• モデルの監視– モデル メトリックを収集、表現、分析して、アプリの健全性とパフォーマンスに関するより優れた洞察を得ます。
• モデル セキュリティ- ユーザー ID、認証、承認、ロールベースのアクセス制御、暗号化機能を構成して、アプリをサイバーセキュリティの脅威から保護します。

NGINX Connectivity Stack for Kubernetes には、 NGINX Ingress ControllerとF5 NGINX App Protectが含まれており、オンプレミスとクラウドで AI/ML アプリケーションを実行する Kubernetes クラスターとそのユーザー間の高速で信頼性が高く安全な通信を提供します。 これにより、あらゆる Kubernetes 環境におけるモデルの提供、実験、監視、セキュリティが簡素化および合理化され、クラウド プロバイダーとパッケージ化された Kubernetes オファリングの機能が強化され、大規模な保護、可用性、観測性のレベルが向上します。

Kubernetes 向け NGINX 接続スタックを使い始める

NGINX は、お客様のニーズを満たし、Kubernetes プラットフォームのセキュリティ、スケーラビリティ、可視性を強化する包括的なツールとビルディング ブロックのセットを提供します。

Connectivity Stack for Kubernetes の 30 日間無料トライアルをリクエストして、今すぐ始めることができます。