Visão geral da solução F5 AI Gateway

Implante aplicativos de IA em qualquer lugar – e garanta segurança e otimização para oferecer experiências ideais ao usuário.

Aplicações de IA apresentam uma infinidade de desafios operacionais e de proteção

O lançamento do OpenAI no final de 2022 deu início a uma ampla pesquisa e desenvolvimento de aplicações de inteligência artificial (IA). Estima-se que até 2023, 30% dos aplicativos empresariais usarão a rotulagem de IA generativa (GenAI) para reformular sua marca em busca de novas receitas.*

Os aplicativos de IA são diferentes das gerações anteriores de aplicativos que foram criados com base no uso expandido da interface do programador de aplicativos (API). Os aplicativos de IA ainda usam APIs para interação, mas as entradas e saídas não são determinísticas, o que significa que as solicitações de dados recebidas e as respostas do aplicativo podem variar muito de usuário para usuário. Adicione a isso a falta de visibilidade e correlação de prompts de entrada com respostas de saída e você terá um sério risco de segurança que pode destruir o valor comercial que a IA pretende entregar.

O acesso aberto a aplicativos de IA e seus modelos, estejam eles disponíveis internamente para grupos restritos ou externamente para qualquer pessoa, apresenta riscos de segurança. Os usuários podem criar seus próprios prompts, o que pode levar a uma variedade de ataques, manipulações ou uso indevido inadvertido. Exemplos de ataques ou manipulações incluem negação de serviço (DoS) de modelo, injeção imediata, divulgação de informações confidenciais e roubo de modelo. A divulgação de informações confidenciais pode ocorrer na forma de dados confidenciais da empresa ou informações pessoais identificáveis (PII) do cliente, o que pode ser extremamente prejudicial e levar a processos judiciais ou à perda da confiança do cliente. Além disso, as alucinações de IA podem causar problemas tanto para funcionários quanto para clientes e consumir facilmente recursos caros.

* Principais previsões estratégicas da Gartner para 2025 e além: Aproveitando o redemoinho da IA; 21 de outubro de 2024

Maximize as aplicações de IA enquanto mitiga riscos com o AI Gateway

O F5 AI Gateway foi projetado para proteger e otimizar o acesso a aplicativos de IA, ao mesmo tempo em que mitiga ataques e evita a exposição de informações críticas.

Proteja-se contra ataques de IA

O AI Gateway inspeciona, identifica e bloqueia ataques de entrada, como injeção de prompt, tratamento de saída inseguro, negação de serviço de modelo, divulgação de informações confidenciais e roubo de modelo. Para respostas de saída, o AI Gateway identifica e limpa dados PII e evita alucinações. Os kits de desenvolvimento de software (SDKs) permitem a aplicação adicional de regras operacionais e requisitos de conformidade para prompts e respostas, a fim de se alinharem melhor às necessidades operacionais.

Maximize o desempenho do aplicativo de IA e reduza custos

O AI Gateway fornece roteamento de tráfego e limitação de taxas para modelos de linguagem grandes (LLMs) locais e de terceiros para manter a disponibilidade e o desempenho do serviço e controlar os custos. A experiência do usuário é ainda mais aprimorada pelo cache semântico, que proporciona um tempo de resposta mais rápido e reduz os custos operacionais ao remover tarefas duplicadas dos LLMs.

Implemente segurança de IA em qualquer lugar

O AI Gateway é baseado em Kubernetes, o que o torna implantável em plataformas de nuvem pública, nuvem privada ou data centers locais. Modelos populares de IA, como OpenAI, Anthropic, Ollama e LLMs HTTP upstream genéricos e serviços de modelo de linguagem pequena (SLM), são suportados.

Observabilidade e trilha de auditoria para governança e conformidade

O suporte ao OpenTelemetry permite visibilidade de todas as métricas, logs e rastros de transações e eventos de segurança. Ele também fornece métricas abrangentes, como contagens de tokens LLM/SLM, volumes de solicitações, utilização de recursos do sistema e desempenho. Para conformidade de segurança, as configurações do AI Gateway estão prontamente disponíveis por meio da exportação de dados de auditoria.

Diagrama de gateway de IA

AI Gateway protege e otimiza aplicativos de IA

A IA representa a próxima onda na evolução de aplicações, mas também apresenta sérios desafios que podem facilmente superar os benefícios. Considerando que os prompts recebidos em aplicativos de IA podem ser ataques a recursos ou projetados para exfiltrar dados, proteger os aplicativos de IA se torna essencial. Flexibilidade na implantação e suporte LLM/SLM são tão importantes quanto o tempo de colocação no mercado e o gerenciamento de custos. Os aplicativos de IA exigem uma solução de segurança evoluída para mitigar ataques por meio de avisos recebidos e impedir o vazamento de dados confidenciais ou alucinações. A visibilidade de todas as transações garante que o gerenciamento de custos, a governança e a conformidade sejam incorporados às operações do dia a dia.

Principais benefícios
Proteja seus aplicativos de IA
  • Identifique e bloqueie ataques de entrada, como injeção de prompt, manipulação de saída insegura e divulgação de informações confidenciais, bem como roubo de modelo.

Otimize as interações de IA

  • Mantenha o desempenho, aumente a disponibilidade do serviço e controle os custos com roteamento de tráfego, armazenamento em cache e limitação de taxas para SLMs e LLMs locais e de terceiros. 

Segurança de IA em qualquer lugar

  • Implante o AI Gateway em instâncias do Kubernetes em qualquer lugar para criar rapidamente serviços de segurança e desempenho.

Características principais
Proteja-se contra ataques
  • Inspecione e aplique políticas de segurança e operacionais em prompts recebidos e respostas enviadas.

Pare o vazamento de dados

  • Evite a divulgação não intencional de informações com identificação e limpeza em tempo real de dados confidenciais ou PII.

Otimize as respostas e reduza os custos operacionais

  • O cache semântico permite respostas rápidas a prompts sem consumir tokens SLM e LLM. 

Personalizável para atender às necessidades do negócio

  • Os kits de desenvolvimento de software (SDKs) permitem o processamento personalizado de prompts de entrada e respostas de saída para melhor alinhamento às necessidades organizacionais e de conformidade.