F5、Intel、Dell の協力で AI 推論にシンプルさ、セキュリティ、パフォーマンスを追加

組織は AI を活用した新しいアプリやワークフローの構築を目指しています。しかし、それらをうまく運用するのは難しい場合があります。 複数の AI フレームワークとアプリ環境により、開発者とセキュリティ チームにとって複雑さが生じます。 迅速な推論をより簡単に構築、実行、保護できるソリューションが必要です。

Intel の OpenVINO™ ツールキットは、AI 推論を高速化すると同時に、フットプリントが小さく、一度書けばどこにでも展開できるアプローチを提供するオープンソース ツールキットです。 これにより、開発者は比較的少ないコード行数でスケーラブルかつ効率的な AI ソリューションを作成できます。 開発者は、TensorFlow、PyTorch、ONNX などの一般的なフレームワークを使用してトレーニングされた AI モデルを使用できます。 OpenVINO を使用すると、開発者はまず変換を行い、さらにモデルを最適化および圧縮して応答を高速化できます。 これで、OpenVINO ランタイムをアプリケーションに埋め込んで AI 対応にすることで、AI モデルを展開する準備が整いました。 開発者は、データセンター、クラウド、またはさまざまなハードウェア アーキテクチャのエッジにある軽量コンテナーを介して、AI を組み込んだアプリケーションを展開できます。

開発者は、モデルをアプリケーションと一緒にホストしたり、アプリケーションに埋め込んだりすることを望まない場合があります。 アプリケーションのモデルは随時更新する必要がある場合があり、アプリケーションが提供する機能を提供するために複数のモデルを実行する必要がある場合もあります。 OpenVINO には、クライアント サーバー アーキテクチャでモデルを提供するためのソフトウェア定義の高性能システムである OpenVINO モデル サーバーによるソリューションがあります。 OpenVINO モデル サーバーの利点は次のとおりです。

1. 導入の容易さ: Docker を使用したコンテナ化されたアーキテクチャにより、OpenVINO モデル サーバーを使用したモデルの展開がより簡単かつスケーラブルになります。 ハードウェア構成と依存関係の複雑さを抽象化します。
2. スケーラビリティ: OpenVINO モデル サーバーは、クラスター環境に導入して高い推論負荷を処理し、必要に応じて水平方向に拡張できます。 このスケーラビリティにより、負荷の高い作業でも推論パフォーマンスの一貫性が確保されます。
3. リモート推論: OpenVINO モデル サーバーはリモート推論をサポートしており、クライアントはリモート サーバーに展開されたモデルに対して推論を実行できます。 この機能は、クライアント デバイスのリソースが限られている一方で、強力なサーバー上で推論を実行する必要がある分散アプリケーションやシナリオに役立ちます。
4. 監視と管理: OpenVINO モデル サーバーは監視および管理機能を提供し、管理者が推論パフォーマンスやリソース使用率を追跡し、展開されたモデルを効果的に管理できるようにします。

OpenVINO は AI モデルの最適化、展開、拡張を簡素化しますが、実稼働環境で実行するにはセキュリティも必要です。 F5 NGINX Plus はリバース プロキシとして機能し、AI モデル サーバーのトラフィック管理と保護を提供します。 高可用性構成とアクティブなヘルスチェックにより、NGINX Plus はアプリ、ワークフロー、またはユーザーからのリクエストが稼働中の OpenVINO モデル サーバーに確実に到達できるようにします。 また、HTTPS および mTLS 証明書を使用して、パフォーマンスを低下させることなく、ユーザー アプリケーションとモデル サーバー間の通信を暗号化することもできます。

同じホスト サーバーまたは仮想マシンにデプロイされると、NGINX Plus は受信トラフィックをフィルタリングし、アップストリーム コンテナーの健全性を監視します。 また、パフォーマンスを高速化し、モデル サーバーの作業を軽減するコンテンツ キャッシュも提供します。 この組み合わせにより効率的なセキュリティが実現しますが、NGINX Plus と OpenVINO モデル サーバーを単一の CPU に展開すると、リソースを競合する必要がある場合があります。 これにより、速度低下やパフォーマンス低下が発生する可能性があります。