AIファクトリーとは

Hunter Smitプロダクトマーケティング担当シニアマネージャー | F5

このブログ記事は、AIファクトリーに関するシリーズの一部です。この記事を読み終えたら、シリーズのほかの記事もぜひご覧ください。

• AIファクトリー向け検索拡張生成（RAG）›
• AI Factoryへのデータ取り込みに向けたトラフィック管理の最適化 ›
• エッジデータソースとAIファクトリーを最適に接続 ›
• マルチクラウドの拡張性と柔軟性がAIファクトリーを支援 ›
• AIファクトリーにおけるNVIDIA BlueField DPUの力と意義 ›
• AIファクトリーのAPI保護：AIセキュリティへの第一歩 ›
• AIファクトリーにおけるネットワークセグメンテーションの重要性 ›
• AIファクトリーが生み出す最先端のモダンアプリ：AIアプリ ›

2022年11月にChatGPTがリリースされた当時、私たちが投げかけた質問や入力したプロンプトは、「Xについての物語を作って」「トピックZについて、人物Aと人物Bの会話形式の物語を書いて」といった単純なものでした。当時、こうした質問やGPT-3.5との初期のやり取りを通じて、この新たな注目技術が日常生活にどのような影響を与えるのかを見極めようとしていました。2024年後半の現在、AIは、コードのデバッグや作成、データの集約や要約、自動運転車の運転など、さまざまな形で私たちの生活を補完しています。これらは現代のAIファクトリーが生み出す成果であり、まだ始まったばかりです。

AIファクトリーに関するシリーズの第1回となる本記事では、AIファクトリーの構成要素と、各要素がどのように連携してAIを活用したソリューションを大規模に生み出すのかを解説します。

AIファクトリーの定義

AIの進化が続く中、AIモデルやサービスを作成、改良、デプロイする仕組みを工場になぞらえた「AIファクトリー」という概念が登場しました。従来の製造工場が原材料を完成品へと加工するのと同様に、AIファクトリーは、大規模かつ高性能なトレーニングと推論の要件に対応するため、ストレージ、ネットワーク、コンピューティングに大規模な投資を行うものです。

これらのファクトリー内では、サーバー、グラフィックスプロセッシングユニット（GPU）、データプロセッシングユニット（DPU）、専用ハードウェアのネットワークが連携して膨大な量のデータを処理し、複雑なアルゴリズムを実行することで、AIモデルを高い精度と効率性でトレーニングします。これらのインフラストラクチャは、大規模モデルのトレーニングとリアルタイム推論へのデプロイに必要な膨大な計算能力に対応できるよう、綿密に設計されています。また、大規模なデータセットを管理・取得する高度なストレージソリューションを組み込み、シームレスなデータフローを確保します。

負荷分散とネットワーク最適化により、パフォーマンスとリソース使用率を最大化し、ボトルネックを防ぎながらスケーラビリティを確保します。ハードウェアとソフトウェアのコンポーネントを連携させることで、AIファクトリーは最先端のAIモデルを生み出し、新たなデータや変化する要件に適応しながら継続的に改良できます。つまり、AIファクトリーはAI開発の産業化を具現化し、次世代のインテリジェントアプリケーションを支えるために必要な堅牢なインフラストラクチャを提供します。

AIファクトリーが重要な理由

NVIDIAのCEOであるジェンスン・フアン氏は、Salesforceの「Dreamforce 2024」で、「コンピューターテクノロジーがムーアの法則を上回る速さで進歩した時代は、これまでありません」と述べ、さらに「私たちはムーアの法則をはるかに上回る速さで進んでおり、いわばムーアの法則の2乗といっても過言ではありません」と続けました。

AIへの投資が市場における重要な差別化要因となり、業務効率の向上を促進する中、AIを大規模に導入することの重要性はますます高まっています。その実現には、モデルを継続的に構築・改良し、ナレッジリポジトリとリアルタイムデータを統合する必要があります。AIファクトリーという概念は、AIを一度限りの取り組みではなく、継続的な投資として捉えるべきであることを示しています。これは、AIの取り組みを実運用に移行し、変化するビジネスや市場のニーズにより柔軟に対応するためのフレームワークとなります。

AIファクトリーの構成要素

F5は、高性能でセキュアなモダンアプリケーション群を大規模に展開するお客さまを支援してきた知見を活かし、AI Reference Architecture Frameworkを開発しました。AIアプリケーションは、モダンアプリケーションの中でも特に先進的であり、APIを介して緊密に接続され、高度に分散しています。このフレームワークは、最先端のAIアプリケーションの提供に不可欠な、パフォーマンス、セキュリティ、運用上の重要な課題に対応します。

F5のAIリファレンスアーキテクチャ図 ›

AIを構成する7つの要素

F5のリファレンスアーキテクチャでは、包括的なAIファクトリーの構築に必要な7つのAIビルディングブロックを定義しています。

1. 推論

フロントエンドアプリケーションと推論サービスAPIのやり取りについて概説します。AIモデルにリクエストを送信し、レスポンスを受信することが中心です。これは、より複雑なやり取りの基礎となります。

2. 検索拡張生成

大規模言語モデル（LLM）のオーケストレーションと検索拡張サービスを追加することで、基本的な推論を強化します。ベクトルデータベースやコンテンツリポジトリから追加のコンテキストを取得し、それを使用してコンテキストを充実させた応答を生成する仕組みについて詳しく説明します。

3. RAGコーパス管理

検索拡張生成（RAG）を使用した推論に必要なデータ取り込みプロセスに重点を置きます。データの正規化、埋め込み、ベクトルデータベースへのデータ格納を行い、RAG呼び出しに使用するコンテンツを準備します。

4. ファインチューニング

モデルとのインタラクションを通じて、既存モデルのパフォーマンス向上を目指します。モデルをゼロから再構築せずに調整し、ファインチューニングのワークフローに向けて、InferenceおよびInference with RAGからデータを収集することを重視します。

5. トレーニング

以前のチェックポイントを使用する場合（再トレーニング）もありますが、基本的には新しいモデルをゼロから構築します。データ収集、前処理、モデルの選択、トレーニング手法の選択、トレーニング、検証／テストが含まれます。この反復的なプロセスは、特定のタスクに合わせた堅牢なモデルの作成を目的としています。

6. 外部サービス連携

LLMオーケストレーションレイヤーを、データベースやWebサイトなどの外部ソースに接続します。外部データを推論リクエストに統合しますが、チャンキングや埋め込みなどのドキュメント前処理タスクは含まれません。

7. 開発

AIアプリケーションコンポーネントの開発、保守、構成、テスト、デプロイに関するワークフローを対象とします。これには、フロントエンドアプリケーション、LLMオーケストレーション、ソースコード管理、CI/CDパイプラインが含まれます。

これらの構成要素が一体となって、AIファクトリーの基盤を形成します。それぞれが、AIの出力の作成、デプロイ、改良において重要な役割を果たします。また、AIファクトリーの取り組みでは、構成要素の大半について、実装を借用または外部委託するのではなく、自社で実装戦略を保有する傾向があります。そのため、以下のデプロイモデルの中から「セルフホスト」が選択されます。

4つの導入モデル

これらの構成要素ごとに、AIイニシアチブのビジネス目標を達成するための最適なリファレンスアーキテクチャを定義するには、適切な導入モデルと実装戦略（自社所有、リース、または外部委託）を選択する必要があります。主な4つのモデルは次のとおりです。

• AI-SaaSでは、Software as a Service（SaaS）として実装された推論サービスを利用し、サービスプロバイダーがインフラストラクチャ、モデルの更新、スケーリングを管理します。ユーザーは基盤の保守を意識することなく、APIを介してサービスを利用できます。この導入モデルは、大きな運用負担をかけずに、使いやすさと迅速な統合を実現したい企業に適しています。また、迅速なスケーリングが可能で、最新の機能や改善も利用できます。
• クラウドホスト型デプロイでは、クラウドサービスプロバイダー（CSP）のInfrastructure as a Service（IaaS）またはPlatform as a Service（PaaS）を利用して、推論サービスを管理します。このモデルでは、設定、スケーリング、保守を含むサービス管理はユーザーが担いますが、CSPの堅牢なインフラストラクチャとツールを活用できます。柔軟性と制御性に優れているため、特定の要件と技術的な専門知識を持つ組織に適しています。また、他のクラウドネイティブなサービスやツールともシームレスに統合できます。
• セルフホスト型の導入では、自社で管理するプライベートデータセンターまたはコロケーションサービス内で推論サービスを管理する必要があります。このモデルでは、最高レベルの制御性とカスタマイズ性が得られ、組織固有のニーズに合わせてインフラストラクチャとサービスを調整できます。ただし、保守、更新、スケーリングには多大なリソースが必要です。クラウドベースのソリューションでは満たせない厳格なセキュリティ、コンプライアンス、またはパフォーマンス要件を持つ組織でよく採用されます。
• エッジホスト型デプロイでは、小売店のキオスク、IoTデバイス、その他のローカル環境など、エッジでAIまたは機械学習（ML）サービスを実行します。このモデルは、データを発生源の近くで処理することでレイテンシを低減するため、リアルタイムアプリケーションや、インターネット接続が制限されている、または断続的な環境に適しています。堅牢なローカルハードウェアとソフトウェアの管理が必要ですが、即時かつローカルでの意思決定を必要とするユースケースに大きなメリットをもたらします。エッジホスト型デプロイは、特に小売、製造、医療などの業界で有用です。

F5は、あらゆる環境でAIアプリケーションを配信し、保護します

アプリケーションデリバリとセキュリティのために日々利用されているF5の機能は、適切に設計されたAIファクトリーにも不可欠です。F5 BIG-IP Local Traffic Managerと、F5 rSeriesおよびVELOS専用ハードウェアを組み合わせることで、AIトレーニング向けの高性能なデータ取り込みが可能になります。セキュアなマルチクラウドネットワーキングを実現するF5 Distributed Cloud Network Connectは、分散したデータロケーションを接続し、独自データからAIモデルへのセキュアな経路を構築して、RAGを実現します。

F5のAIへの取り組みは、これだけではありません。F5があらゆる環境でAIアプリを保護し、提供する仕組みをご覧ください。

AIファクトリーについてさらに詳しく知りたい方は、AIファクトリーに関するブログシリーズの他の記事もご覧ください。

• AIファクトリー向け検索拡張生成（RAG）›
• AI Factoryのデータ取り込みに向けたトラフィック管理の最適化 ›
• エッジデータソースとAIファクトリーを最適に接続 ›
• マルチクラウドの拡張性と柔軟性でAIファクトリーを支援 ›
• AIファクトリーにおけるNVIDIA BlueField DPUの力と意義 ›
• AIファクトリーのAPI保護：AIセキュリティへの第一歩 ›
• AIファクトリーにおけるネットワークセグメンテーションの重要性 ›
• AIファクトリーが生み出す最先端のモダンアプリ：AIアプリ ›

著者について

Hunter Smitプロダクトマーケティング担当シニアマネージャー | F5

Hunter Smitは、F5でソリューションおよび戦略担当のプロダクトマーケティングシニアマネージャーを務めています。AIインフラストラクチャやアプリケーションセキュリティを含むF5ポートフォリオ全体のソリューションマーケティングを統括し、新興のAIデータデリバリー市場へのF5の参入を推進しています。Whitworth University School of Businessの諮問委員会メンバーであり、プロダクトマーケティングの非常勤講師も務めました。Whitworth UniversityでMBAおよび経営学の学士号を取得しています。

Hunter Smitのその他のブログ記事