Présentation de la solution F5 AI Gateway
Déployez des applications d’IA n’importe où et assurez la sécurité et l’optimisation pour offrir des expériences utilisateur idéales.
Les applications d’IA présentent une multitude de défis en matière de protection et d’exploitation
Le lancement d'OpenAI fin 2022 a donné le coup d'envoi à une recherche et un développement à grande échelle d' applications intelligence artificielle (IA). On estime que d’ici 2023, 30 % des applications d’entreprise utiliseront l’étiquetage génératif de l’IA (GenAI) pour remodeler leur image de marque dans la recherche de nouveaux revenus.*
Les applications d’IA sont différentes des générations précédentes d’ applications qui reposaient sur l’utilisation étendue de l’interface de programmation application (API). Les applications d’IA utilisent toujours des API pour l’interaction, mais les entrées et les sorties ne sont pas déterministes, ce qui signifie que les demandes de données entrantes et les réponses de l’ application peuvent varier considérablement d’un utilisateur à l’autre. Ajoutez à cela le manque de visibilité et de corrélation des invites entrantes avec les réponses sortantes et vous obtenez un risque de sécurité sérieux qui pourrait anéantir la valeur commerciale que l’IA vise à offrir.
L’accès libre aux applications d’IA et à leurs modèles, qu’ils soient accessibles en interne à des groupes restreints ou en externe à n’importe qui, présente des risques de sécurité. Les utilisateurs peuvent créer leurs propres invites qui pourraient conduire à une variété d’attaques, de manipulations ou d’utilisations abusives par inadvertance. Les exemples d’attaques ou de manipulations incluent le déni de service de modèle (DoS), l’injection rapide, la divulgation d’informations sensibles et le vol de modèle. La divulgation d’informations sensibles peut prendre la forme de données confidentielles de l’entreprise ou d’informations personnelles identifiables (PII) du client, ce qui s’avère extrêmement préjudiciable et peut entraîner des poursuites judiciaires ou une perte de confiance du client. De plus, les hallucinations de l’IA peuvent causer des problèmes aux employés comme aux clients et consommer facilement des ressources coûteuses.
Maximisez les applications d'IA tout en atténuant les risques avec AI Gateway
F5 AI Gateway est conçu pour sécuriser et optimiser l'accès aux applications d'IA tout en atténuant les attaques et en empêchant l'exposition des informations critiques.
Protégez-vous contre les attaques de l'IA
AI Gateway inspecte, identifie et bloque les attaques entrantes telles que l'injection rapide, la gestion de sortie non sécurisée, le déni de service du modèle, la divulgation d'informations sensibles et le vol de modèle. Pour les réponses sortantes, AI Gateway identifie et supprime les données PII et empêche les hallucinations. Les kits de développement logiciel (SDK) permettent une application supplémentaire des règles opérationnelles et des exigences de conformité pour les invites et les réponses afin de mieux s'aligner sur les besoins opérationnels.
Maximisez les performances des applications d'IA et réduisez les coûts
AI Gateway fournit un routage du trafic et une limitation du débit pour les modèles linguistiques locaux et tiers (LLM) afin de maintenir la disponibilité et les performances du service et de contrôler les coûts. L'expérience utilisateur est encore améliorée par la mise en cache sémantique qui accélère le temps de réponse et réduit les coûts opérationnels en supprimant les tâches en double des LLM.
Déployez la sécurité de l'IA partout
AI Gateway est basé sur Kubernetes, ce qui le rend déployable sur des plateformes de cloud public, de cloud privé ou des centres de données sur site. Les modèles d'IA populaires tels qu'OpenAI, Anthropic, Ollama, les LLM HTTP en amont génériques et les services de petits modèles de langage (SLM) sont pris en charge.
Observabilité et piste d'audit pour la gouvernance et la conformité
La prise en charge d'OpenTelemetry permet une visibilité sur toutes les métriques, journaux et traces de transactions et d'événements de sécurité. Il fournit également des mesures complètes telles que le nombre de jetons LLM/SLM, les volumes de demandes, l'utilisation des ressources système et les performances. Pour la conformité de sécurité, les configurations AI Gateway sont facilement disponibles via l'exportation des données d'audit.
AI Gateway sécurise et optimise les applications d'IA
L’IA représente la prochaine vague dans l’évolution des applications , mais présente également de sérieux défis qui pourraient facilement surpasser les avantages. Étant donné que les invites entrantes vers les applications d’IA peuvent être des attaques sur des ressources ou conçues pour exfiltrer des données, la sécurisation des applications d’IA devient primordiale. La flexibilité dans le déploiement et le support LLM/SLM sont tout aussi importants que le délai de mise sur le marché et la gestion des coûts. Les applications d’IA nécessitent une solution de sécurité évoluée pour atténuer les attaques via des invites entrantes et pour arrêter la fuite de données sensibles ou les hallucinations. La visibilité sur toutes les transactions garantit que la gestion des coûts, la gouvernance et la conformité sont intégrées aux opérations quotidiennes.
Principaux avantages
- Identifiez et bloquez les attaques entrantes telles que l’injection rapide, la gestion des sorties non sécurisées et la divulgation d’informations sensibles, ainsi que le vol de modèles.
Optimiser les interactions de l'IA
- Maintenez les performances, augmentez la disponibilité des services et contrôlez les coûts grâce au routage du trafic, à la mise en cache et à la limitation du débit pour les SLM et LLM locaux et tiers.
La sécurité de l'IA partout
- Déployez AI Gateway sur des instances Kubernetes n'importe où pour créer rapidement des services de sécurité et de performances.
Principales caractéristiques
- Inspecter et appliquer les politiques de sécurité et opérationnelles sur les invites entrantes et les réponses sortantes.
Arrêter la fuite de données
- Empêchez la divulgation involontaire d’informations grâce à l’identification et à la suppression en temps réel des données sensibles ou PII.
Optimiser les réponses et réduire les coûts opérationnels
- La mise en cache sémantique permet des réponses rapides aux invites sans consommer de jetons SLM et LLM.
Personnalisable pour répondre aux besoins de l'entreprise
- Les kits de développement logiciel (SDK) permettent un traitement personnalisé des invites entrantes et des réponses sortantes pour une meilleure adéquation aux besoins organisationnels et de conformité.