PortkeyとF5がインテリジェントAIアプリケーション配信で提携
人工知能の分野は常に進化しており、時代の先頭に立ちたい企業にとって、大規模言語モデル (LLM) を効率的、安全、かつ確実に導入および管理する能力は非常に重要です。 そのため、LLM の導入と監視を効率化するように設計された革新的な AI ゲートウェイおよび可観測性スイートであるPortkeyについて知っておく必要があります。
F5 との提携により、Portkey はインテリジェントなトラフィック管理、高可用性、包括的な観測性といった、AI 駆動型アプリケーションの堅牢な配信に不可欠な大きな利点を顧客に提供できるようになりました。
現実のシナリオ
それぞれ異なるドメインと言語を専門とするさまざまな LLM によって駆動され、活気のあるカスタマー サービス デスクにサービスを提供するチャットボット アプリケーションを想像してください。 ここがPortkeyが優れている点です。 API リクエストがシステムに到達すると、Portkey のインテリジェント ルーティングは、各 LLM の特定の機能や現在のパフォーマンス メトリックなどの要素を評価して、リクエストを最も適切なバックエンドに転送します。 これにより、迅速かつ正確な対応が可能になります。
しかし、リクエストが急増するピーク時はどうでしょうか? ここでF5 分散クラウド サービスが活躍します。 Distributed Cloud Services のネットワーク、セキュリティ、アプリケーション配信に対する多面的なアプローチにより、複数の Portkey インスタンス間でトラフィックを効率的に分散できます。 これにより、需要が集中する期間でもパフォーマンスとスケーラビリティが維持されるだけでなく、高度な API セキュリティ機能を活用して潜在的なサイバー脅威からアプリケーションを保護し、正当で安全なトラフィックのみがアプリに到達するようになります。
自動フェイルオーバーと監視機能
一時的な問題、つまり LLM バックエンドの 1 つに問題が発生して応答しなくなる状況を考えてみましょう。 Portkey は、フェイルオーバー メカニズムを内蔵しており、問題を即座に検出し、トラフィックをシームレスに代替 LLM に再ルーティングして、チャットボットが引き続き動作し、応答性を維持できるようにします。
同時に、分散クラウド サービスの高度なトラフィック管理機能により、ワークロードのスムーズな移行が促進され、アプリケーションの可用性が保護されます。 このような状況では、Portkey の可観測性スイートは、トラブルシューティングに役立つだけでなく、アプリケーションの全体的な健全性と効率性のスナップショットも提供するログ、メトリック、トレースを備えたリアルタイムの分析情報を提供することで、その価値を発揮します。 F5 分散クラウド Web アプリケーションおよび API 保護 (WAAP)機能も動作しており、データ フローの整合性を維持し、高度なサイバー攻撃から保護するための監視を行います。
パートナーシップは相互の顧客にメリットをもたらします
Portkey の AI 中心の機能と F5 の堅牢なセキュリティ ポートフォリオの組み合わせは、安全でインテリジェントな AI アプリケーション配信の未来を象徴しています。 このパートナーシップにより、適切な LLM が常に実行されるようにするインテリジェントなトラフィック管理、継続的なアプリケーション操作のための高可用性、予期しないバックエンドの問題を防ぐための自動フェイルオーバー、システムの内部動作を詳細に表示する包括的な観測可能性など、一連のメリットがもたらされます。
分散クラウド WAAP セキュリティ機能は、このエコシステムにさらなる保護レイヤーを追加し、AI アプリケーションがパフォーマンスと信頼性に優れているだけでなく、今日のデジタル環境における無数の脅威を阻止することにも警戒していることを保証します。 組織にとって、これは顧客の期待に応え、それを上回る、信頼性が高く高性能な AI アプリケーションを提供することを意味します。 LLM のパフォーマンスと使用状況を追跡することで得られる洞察は、継続的な改善とビジネスの成長にとって非常に貴重です。
素晴らしいコラボレーション
Portkey と F5 のパートナーシップは、テクノロジー業界におけるコラボレーションの力を強調しています。 これにより、新興のスタートアップ企業から医療や保険などのさまざまな分野の確立された業界プレーヤーまで、今日の企業の野心と一致する規模でインテリジェントな AI アプリケーション配信への道が開かれます。 この提携により、AI アプリケーション展開の基準を超え、F5 分散クラウド サービスの最先端のセキュリティ対策によって強化された、比類のないパフォーマンス、信頼性、洞察力の組み合わせが実現します。
Portkeyの本日のプレスリリースは、 https://www.businesswire.com/news/home/20240502333835/en/Portkey.ai-Partners-with-F5-to-Deliver-Reliable-Secure-Enterprise-AI-Applicationsをご覧ください。
Portkey + F5 Distributed Cloud Services のデモを実際に見るには、 https://www.youtube.com/watch?v=nfbrw5BgZWYをご覧ください。
F5 Distributed Cloud Services が組織に、あらゆる場所のあらゆるアプリケーションに対応するインフラストラクチャの構築にどのように役立つかについて詳しくは、 https://www.f5.com/cloudをご覧ください。
Portkey の詳細については、 https://www.portkey.aiをご覧ください。