Faites évoluer, sécurisez et surveillez les charges de travail IA/ML dans Kubernetes avec les contrôleurs d'entrée

Les charges de travail d’IA et d’apprentissage automatique (IA/ML) révolutionnent la manière dont les entreprises fonctionnent et innovent. Kubernetes , la norme de facto pour l'orchestration et la gestion des conteneurs, est la plateforme de choix pour alimenter des charges de travail de modèles de langage volumineux (LLM) évolutifs et des modèles d'inférence dans des environnements hybrides multicloud.

Dans Kubernetes, les contrôleurs Ingress jouent un rôle essentiel dans la fourniture et la sécurisation des applications conteneurisées. Déployés à la périphérie d'un cluster Kubernetes, ils servent de point central de gestion des communications entre les utilisateurs et les applications.

Dans ce blog, nous explorons comment les contrôleurs Ingress et F5 NGINX Connectivity Stack pour Kubernetes peuvent aider à simplifier et à rationaliser la diffusion, l'expérimentation, la surveillance et la sécurité des modèles pour les charges de travail AI/ML.

Déploiement de modèles d'IA/ML en production à grande échelle

Lors du déploiement de modèles d'IA/ML à grande échelle, les fonctionnalités et capacités prêtes à l'emploi de Kubernetes peuvent vous aider à :

• Accélérez et simplifiez le cycle de vie des versions d'applications AI/ML.
• Activez la portabilité de la charge de travail AI/ML dans différents environnements.
• Améliorer l’efficacité et l’économie de l’utilisation des ressources de calcul.
• Offrez de l’évolutivité et atteignez la préparation à la production.
• Optimiser l’environnement pour respecter les SLA métier.

Dans le même temps, les organisations peuvent être confrontées à des défis en matière de mise en œuvre, d’expérimentation, de surveillance et de sécurisation des modèles d’IA/ML en production à grande échelle :

• La complexité croissante et la prolifération des outils rendent difficile pour les organisations la configuration, l'exploitation, la gestion, l'automatisation et le dépannage des environnements Kubernetes sur site, dans le cloud et en périphérie.
• Expériences utilisateur médiocres en raison de délais d'attente de connexion et d'erreurs dues à des événements dynamiques, tels que des échecs et des redémarrages de pod, une mise à l'échelle automatique et des taux de demande extrêmement élevés.
• Dégradation des performances, temps d'arrêt et dépannage plus lent et plus difficile dans les environnements Kubernetes complexes en raison des rapports agrégés et du manque de mesures granulaires, en temps réel et historiques.
• Risque important d’exposition aux menaces de cybersécurité dans les environnements Kubernetes hybrides et multicloud, car les modèles de sécurité traditionnels ne sont pas conçus pour protéger les applications distribuées faiblement couplées.

Les contrôleurs d'entrée de classe entreprise comme le contrôleur d'entrée F5 NGINX peuvent aider à relever ces défis. En exploitant un outil qui combine les fonctionnalités du contrôleur Ingress, de l'équilibreur de charge et de la passerelle API, vous pouvez obtenir une meilleure disponibilité, une meilleure protection et une meilleure visibilité à grande échelle, quel que soit l'endroit où vous exécutez Kubernetes. De plus, cela réduit la complexité et les coûts opérationnels.

NGINX Ingress Controller peut également être étroitement intégré à une technologie de protection d'application de couche 7 de pointe de F5 qui aide à atténuer les 10 principales cybermenaces de l'OWASP pour les applications LLM et à défendre les charges de travail AI/ML contre les attaques DoS.

Avantages des contrôleurs d'entrée pour les charges de travail IA/ML

Les contrôleurs d'entrée peuvent simplifier et rationaliser le déploiement et l'exécution des charges de travail IA/ML en production grâce aux fonctionnalités suivantes :

• Diffusion de modèles – Distribuez des applications sans interruption grâce aux fonctionnalités d'équilibrage de charge, de mise à l'échelle automatique, de limitation de débit et de reconfiguration dynamique natives de Kubernetes.
• Expérimentation de modèles – Implémentez des déploiements bleu-vert et canari, ainsi que des tests A/B pour déployer de nouvelles versions et mises à niveau sans temps d’arrêt.
• Surveillance du modèle – Collectez, représentez et analysez les métriques du modèle pour obtenir un meilleur aperçu de la santé et des performances de l'application.
• Sécurité du modèle – Configurez l’identité de l’utilisateur, l’authentification, l’autorisation, le contrôle d’accès basé sur les rôles et les capacités de chiffrement pour protéger les applications contre les menaces de cybersécurité.

NGINX Connectivity Stack pour Kubernetes inclut NGINX Ingress Controller et F5 NGINX App Protect pour fournir des communications rapides, fiables et sécurisées entre les clusters Kubernetes exécutant des applications AI/ML et leurs utilisateurs, sur site et dans le cloud. Il permet de simplifier et de rationaliser la mise à disposition, l'expérimentation, la surveillance et la sécurité des modèles dans n'importe quel environnement Kubernetes, améliorant ainsi les capacités du fournisseur de cloud et des offres Kubernetes pré-packagées avec un degré de protection, de disponibilité et d'observabilité plus élevé à grande échelle.

Démarrer avec la pile de connectivité NGINX pour Kubernetes

NGINX propose un ensemble complet d'outils et de blocs de construction pour répondre à vos besoins et améliorer la sécurité, l'évolutivité et la visibilité de votre plateforme Kubernetes.

Vous pouvez commencer dès aujourd'hui en demandant un essai gratuit de 30 jours de Connectivity Stack pour Kubernetes .