Portkey와 F5, 지능형 AI 애플리케이션 제공을 위해 협력
끊임없이 진화하는 인공지능 분야에서 대규모 언어 모델(LLM)을 효율적이고 안전하며 안정적으로 배포하고 관리하는 능력은 시대를 앞서 나가고자 하는 기업에 가장 중요합니다. LLM의 배포와 모니터링을 간소화하도록 설계된 혁신적인 AI 게이트웨이 및 관찰 제품군인 Portkey 에 대해 알아야 하는 이유입니다.
F5와의 파트너십을 통해 Portkey는 이제 고객에게 지능형 트래픽 관리, 높은 가용성, 포괄적인 관찰 가능성과 같은 중요한 이점을 제공합니다. 이는 모두 AI 기반 애플리케이션을 안정적으로 제공하는 데 필수적입니다.
실제 시나리오
다양한 분야와 언어를 전문으로 하는 다양한 LLM을 활용하여 분주한 고객 서비스 데스크를 지원하는 챗봇 애플리케이션을 상상해보세요. 포트키가 탁월한 능력을 발휘하는 분야가 바로 이 부분입니다. API 요청이 시스템에 도달하면 Portkey의 지능형 라우팅은 각 LLM의 특정 기능과 현재 성능 지표와 같은 요소를 평가하여 요청을 가장 적합한 백엔드로 전달합니다. 이를 통해 빠르고 정확한 대응이 가능합니다.
하지만 요청이 급증하는 피크 타임은 어떨까요? F5 분산 클라우드 서비스가 빛을 발하는 부분은 바로 여기입니다. 분산 클라우드 서비스는 네트워킹, 보안, 애플리케이션 제공에 대한 다각적인 접근 방식을 통해 여러 Portkey 인스턴스에서 트래픽을 효율적으로 분산합니다. 이를 통해 수요가 많은 기간에도 성능과 확장성을 유지할 뿐만 아니라 고급 API 보안 기능을 활용하여 애플리케이션을 잠재적인 사이버 위협으로부터 보호하고 합법적이고 안전한 트래픽만 앱에 도달하도록 보장합니다.
자동화된 장애 조치 및 관찰 가능성
문제가 발생했다고 생각해 봅시다. LLM 백엔드 중 하나가 문제에 부딪혀 응답하지 않게 됩니다. 포트키는 내장된 장애 조치 메커니즘을 통해 문제를 신속히 감지하고 원활하게 다른 LLM으로 트래픽을 재지정하여 챗봇이 계속 작동하고 반응성을 유지할 수 있도록 보장합니다.
동시에, 분산 클라우드 서비스의 고급 트래픽 관리 기능은 작업 부하의 원활한 전환을 촉진하여 애플리케이션 가용성을 보호합니다. 이러한 상황에서 Portkey의 관찰성 제품군은 문제 해결에 도움이 될 뿐만 아니라 애플리케이션의 전반적인 상태와 효율성에 대한 스냅샷을 제공하는 로그, 메트릭, 추적을 통해 실시간 통찰력을 제공함으로써 그 가치를 입증합니다. F5 분산 클라우드 웹 앱 및 API 보호(WAAP) 기능도 작동하여 데이터 흐름의 무결성을 유지하고 정교한 사이버 공격으로부터 보호하기 위한 모니터링을 수행합니다.
상호 고객에게 제공하는 파트너십 혜택
Portkey의 AI 중심 기능과 F5의 강력한 보안 포트폴리오의 결합은 안전한 지능형 AI 애플리케이션 제공의 미래를 보여줍니다. 이 파트너십은 적절한 LLM이 항상 실행되도록 보장하는 지능형 트래픽 관리, 지속적인 애플리케이션 운영을 위한 고가용성, 예상치 못한 백엔드 문제를 방지하기 위한 자동 장애 조치, 시스템 내부 작동을 자세히 볼 수 있는 포괄적인 관찰 기능 등 여러 가지 이점을 제공합니다.
분산형 클라우드 WAAP 보안 기능은 이 생태계에 추가적인 보호 계층을 추가하여 AI 애플리케이션이 우수한 성능과 안정성을 갖출 뿐만 아니라 오늘날의 디지털 환경에서 수많은 위협을 막는 데도 경계를 늦추지 않도록 보장합니다. 조직의 경우, 이는 고객 기대치를 충족하고 뛰어넘는, 안정적이고 고성능의 AI 애플리케이션을 제공하는 것을 의미합니다. LLM 성과와 사용을 추적하여 얻은 통찰력은 지속적인 개선과 사업 성장에 매우 귀중합니다.
멋진 협업
포트키와 F5의 협력은 기술 산업에서 협력의 힘을 강조합니다. 이는 오늘날 다양한 산업(건강 및 보험 등)에 걸쳐 떠오르는 스타트업부터 기존 업계 참여자에 이르기까지 기업의 야망에 부합하는 규모로 지능형 AI 애플리케이션을 제공할 수 있는 길을 열어줍니다. 이번 제휴는 F5 분산 클라우드 서비스의 최첨단 보안 대책으로 강화된 성능, 안정성, 통찰력을 결합하여 AI 애플리케이션 구축 표준을 뛰어넘을 준비가 되어 있습니다.
Portkey의 오늘 보도자료를 읽어보려면 https://www.businesswire.com/news/home/20240502333835/en/Portkey.ai-Partners-with-F5-to-Deliver-Reliable-Secure-Enterprise-AI-Applications 를 방문하세요.
Portkey + F5 분산 클라우드 서비스의 데모를 실제로 보려면 https://www.youtube.com/watch?v=nfbrw5BgZWY를 시청하세요.
F5 분산 클라우드 서비스가 조직이 어디서나 모든 애플리케이션에 대한 인프라를 구축하는 데 어떻게 도움이 될 수 있는지 자세히 알아보려면 https://www.f5.com/cloud를 방문하세요.
포트키에 대해 자세히 알아보려면 https://www.portkey.ai를 방문하세요.