Ajoutez simplicité, sécurité et performances à l'inférence IA avec F5, Intel et Dell

Les entreprises cherchent à créer de nouvelles applications et de nouveaux flux de travail basés sur l'IA. Mais les exploiter avec succès peut s'avérer délicat. Plusieurs cadres d’IA et environnements d’application créent de la complexité pour les développeurs et les équipes de sécurité. Ils ont besoin d’une solution qui facilite la création, l’exécution et la sécurisation d’une inférence rapide.

La boîte à outils OpenVINO™ d’Intel est une boîte à outils open source qui accélère l’inférence de l’IA tout en offrant une empreinte plus petite et une approche d’écriture unique et de déploiement n’importe où. Il aide les développeurs à créer des solutions d’IA évolutives et efficaces avec relativement peu de lignes de code. Les développeurs peuvent utiliser des modèles d'IA formés à l'aide de frameworks populaires tels que TensorFlow, PyTorch, ONNX, etc. Avec OpenVINO, les développeurs convertissent d’abord et peuvent ensuite optimiser et compresser les modèles pour des réponses plus rapides. Désormais, le modèle d’IA est prêt à être déployé en intégrant l’environnement d’exécution OpenVINO dans leur application pour le rendre compatible avec l’IA. Les développeurs peuvent déployer leur application infusée d'IA via un conteneur léger dans un centre de données, dans le cloud ou en périphérie sur une variété d'architectures matérielles.

Un développeur peut ne pas vouloir héberger le modèle avec l’application ou l’intégrer dans l’application. Le modèle de l’application peut nécessiter d’être mis à jour de temps à autre et l’application peut avoir besoin d’exécuter plusieurs modèles pour fournir les fonctionnalités fournies par l’application. OpenVINO propose une solution avec le serveur de modèles OpenVINO, un système hautes performances défini par logiciel pour servir des modèles dans une architecture client-serveur. Les avantages du serveur de modèles OpenVINO incluent :

1. Facilité de déploiement : Avec son architecture conteneurisée utilisant Docker, le déploiement de modèles avec le serveur de modèles OpenVINO devient plus simple et évolutif. Il fait abstraction des complexités de la configuration matérielle et des dépendances.
2. Évolutivité : Le serveur de modèles OpenVINO peut être déployé dans un environnement en cluster pour gérer des charges d'inférence élevées et évoluer horizontalement selon les besoins. Cette évolutivité garantit que les performances d’inférence restent cohérentes même sous de lourdes charges de travail.
3. Inférence à distance : Le serveur de modèles OpenVINO prend en charge l'inférence à distance, permettant aux clients d'effectuer des inférences sur des modèles déployés sur des serveurs distants. Cette fonctionnalité est utile pour les applications distribuées ou les scénarios dans lesquels l'inférence doit être effectuée sur des serveurs puissants alors que le périphérique client dispose de ressources limitées.
4. Suivi et gestion : Le serveur de modèles OpenVINO fournit des capacités de surveillance et de gestion, permettant aux administrateurs de suivre les performances d'inférence, l'utilisation des ressources et de gérer efficacement les modèles déployés.

OpenVINO simplifie l'optimisation, le déploiement et la mise à l'échelle des modèles d'IA, mais pour fonctionner en production, ils ont également besoin de sécurité. F5 NGINX Plus fonctionne comme un proxy inverse, offrant une gestion du trafic et une protection pour les serveurs de modèles d'IA. Grâce à des configurations à haute disponibilité et à des contrôles de santé actifs, NGINX Plus peut garantir que les demandes des applications, des flux de travail ou des utilisateurs atteignent un serveur modèle OpenVINO opérationnel. Il permet également l’utilisation de certificats HTTPS et mTLS pour crypter les communications entre l’application utilisateur et le serveur modèle sans ralentir les performances.

Lorsqu'il est déployé sur le même serveur hôte ou machine virtuelle, NGINX Plus filtre le trafic entrant et surveille l'état des conteneurs en amont. Il offre également la mise en cache de contenu pour accélérer les performances et réduire le travail du serveur modèle. Cette combinaison offre une sécurité efficace, mais les serveurs du modèle NGINX Plus et OpenVINO peuvent avoir besoin d'entrer en compétition pour les ressources lorsqu'ils sont déployés sur un seul processeur. Cela peut entraîner des ralentissements ou une dégradation des performances.