À l'intersection des données opérationnelles et de l'IA générative

Les discussions sur l’IA générative (GenAI) viennent de partout. La question est de savoir ce qui se passe. Comment cela rend-il le monde meilleur ? Où est la valeur commerciale ? Ces questions sont tout aussi pertinentes lorsque l’on considère les défis auxquels sont confrontées les organisations qui cherchent à déterminer si et quand mettre en œuvre GenAI dans leurs opérations (AIOps). Sur la base de mes expériences de l’année passée avec l’IA générative et d’une large exposition aux tendances du secteur au cours de mes recherches quotidiennes chez F5, je propose les cinq points à retenir suivants pour aider à guider les organisations qui cherchent à comprendre l’impact de GenAI sur les pratiques de données opérationnelles. En conséquence, ces organisations seront mieux placées pour aligner les délais d’adoption de la technologie GenAI sur leurs budgets, pratiques et cultures existants.

Les données opérationnelles sont un méli-mélo de données semi-structurées (objets) et d’ensembles de données non structurées. Les grands modèles linguistiques (LLM) sont assez flexibles et efficaces avec cette gamme de formats de données. Cela fait des LLM une technologie parfaite à utiliser pour analyser des ensembles de données opérationnelles. Les organisations peuvent mener une série d’expériences et d’évaluations en interne pour vérifier l’efficacité, la facilité d’utilisation et le coût de diverses solutions compatibles GenAI. L’utilisation de l’inférence LLM pour détecter des modèles de données intéressants avec moins de faux positifs met la vitesse et l’échelle des machines en phase avec les objectifs des équipes consommant des flux de données opérationnels.

Les organisations qui se concentrent sur la connaissance des techniques utilisées par quels modèles pour leurs tâches spécifiques n’ont pas besoin de créer leurs propres modèles. Par exemple, la reconnaissance d’entités nommées (NER) est une branche du traitement du langage naturel (NLP) qui s’avère être une technique efficace pour établir des éléments clés dans des données semi-structurées. Un exemple de NER pourrait être une liste comprenant une catégorie telle que les jours de la semaine ou une description telle que des nombres entiers supérieurs à 1 et inférieurs à 5. Le résultat est une plus grande précision lors de l’inférence que les techniques de recherche de modèles basées sur des règles qui ne sont pas compatibles avec GenAI. À mesure que la recherche et la pratique de l’utilisation de techniques telles que NER continuent de progresser, les équipes opérationnelles peuvent concentrer leur attention sur l’exploitation des techniques qui ont fait leurs preuves, plutôt que sur la création de modèles.

La gravité des données est une force sous-jacente qui influence les décisions concernant le placement du calcul plus près de l’endroit où les données sont créées ou le déplacement des données plus près de l’endroit où le calcul est déjà déployé. Plus le volume de données est important, plus la force gravitationnelle est forte, ce qui entraîne une augmentation de la capacité de calcul placée à proximité. Pour la formation (création et réglage des modèles), les données sont agrégées et rapprochées du calcul. Pour l’inférence (à l’aide de modèles), le modèle est rapproché de l’endroit où l’invite est émise.

Si un modèle est accessible en apportant une copie en interne (au lieu d'appeler l'API d'une instance hébergée par un tiers), il est logique de rapprocher le modèle de l'invite et/ou de tout ensemble de données privées supplémentaire vectorisé dans le cadre de l'invite. En revanche, si le modèle est hébergé par un si un tiers expose son API sur Internet, le modèle et les opérations d'inférence ne bougent pas du tout. Dans ces cas, les vecteurs d'inférence et de données privées peuvent être déplacés vers un emplacement « proche du réseau » à l'aide d'une interconnexion de colocation de centre de données ou en essayant de faire correspondre les emplacements d'hébergement avec le fournisseur de modèle, si possible.

La connaissance des forces qui rassemblent les données et les calculs, ainsi que de celles qui les séparent, permet de faire des choix éclairés dans la recherche du juste équilibre entre coût et performances.

Avec le traitement GenAI, il est plus important que jamais de briser les silos de données pour simplifier et accélérer l’analyse des données opérationnelles. Toutefois, dans un avenir prévisible, il semble que les silos de données persisteront, voire proliféreront.

La question est plutôt de savoir comment gérer les silos de données et quels choix technologiques faire. En termes d'accès aux données stockées dans plusieurs emplacements, les choix sont de copier et de déplacer les données ou d'implémenter une couche de données logique qui utilise des requêtes fédérées sans déplacer les données. Quel que soit le choix effectué, la reconnaissance des sources de données en streaming existantes et l'évaluation des cas d'utilisation opérationnels en fonction des contraintes de temps/fraîcheur des données vous aideront à sélectionner les éléments nécessaires de votre pile technologique de données, tels que les moteurs de streaming, les moteurs de requête, les formats de données et les catalogues. Le choix technologique donne aux équipes de données le pouvoir de choisir les technologies les plus efficaces et les plus faciles à utiliser tout en équilibrant performances et coûts. Idéalement, la pratique des données d’une organisation mûrit avec le temps tout en donnant toujours à l’organisation la flexibilité de choisir ce qui lui convient le mieux à un stade de maturité donné.

Lorsque les solutions ajoutent de l’automatisation, elles évoluent en transformant les connaissances tacites des experts en confidentialité des données et en SecOps en une pratique reproductible basée sur AIOps qui peut être exécutée par des machines. Ce n’est qu’à ce moment-là que les équipes en charge des données, de la sécurité et de la confidentialité sont libres d’ajouter des renseignements. Le renseignement améliore l’efficacité des politiques en définissant plus précisément comment des données spécifiques peuvent être utilisées par qui, pendant combien de temps et dans quel but, tout en suivant où se trouvent les données, quelles copies sont faites et avec qui elles sont partagées. Cela libère du temps pour la planification stratégique, l’évaluation des nouvelles technologies et la communication avec l’entreprise pour affiner les politiques d’accès aux données et approuver les exceptions.

La vitesse, l’évolutivité et l’automatisation sont les caractéristiques d’une pratique AIOps mature, conduisant à de meilleurs résultats, à des décisions plus rapides et à un capital humain optimisé. GenAI ouvre des portes que la technologie n’a pas pu ouvrir… jusqu’à présent. Les cinq enseignements ci-dessus fournissent quelques repères pour les opérations informatiques, les opérations de sécurité et les opérations de confidentialité à prendre en compte lorsque ces équipes mettent en œuvre GenAI dans leurs AIOps. Les modèles d’IA, la proximité du calcul avec les données opérationnelles, les données et l’automatisation fournissent les éléments clés de la nouvelle plateforme AIOps. Au sein de cet environnement d’apprentissage riche, les organisations peuvent construire la culture et les pratiques des opérations technologiques pour la génération actuelle et celle qui suivra.