Industrialisation du Machine Learning : du modèle à la production

Introduction

L’industrialisation du Machine Learning répond à ces enjeux. Elle associe gouvernance, infrastructure et pratiques MLOps pour inscrire chaque modèle dans un cycle de vie maîtrisé, de son entraînement à son utilisation en production. Chez Datanumia, cette démarche permet d’intégrer les algorithmes développés par les équipes Data Science aux produits et services destinés aux clients. 

Data Science et algorithmes au service de la performance énergétique

La Data science au service de l'énergie transforme les données issues des compteurs communicants, des équipements connectés et des systèmes énergétiques en informations utiles. Dans le secteur de l’énergie, les Data Scientists s’appuient sur l’algorithmie et le machine learning pour entraîner des modèles capables d’établir des prévisions, de détecter des écarts ou d’identifier des profils de consommation. 

Cette approche suit plusieurs phases : collecte et préparation des données, entraînement et évaluation du modèle, puis inférence à partir de nouvelles données. Avec le Big Data, les volumes traités et la fréquence des calculs renforcent les exigences techniques propres à chaque phase. 

Obtenir un modèle performant lors de son entraînement ne suffit donc pas. Pour que l’algorithme alimente durablement un produit utilisé par des clients, il faut organiser sa mise en production, son exécution, sa surveillance et ses évolutions. Cette étape marque le passage de l’expérimentation à l’industrialisation. 

Comment Datanumia industrialise ses algorithmes de Machine Learning ?

Chez Datanumia, cette industrialisation algorithmique commence dès la conception des produits. Elle associe les métiers, les équipes Data et les équipes de développement pour intégrer les contraintes liées au Machine Learning tout au long du cycle de vie du modèle. Cette organisation participe plus largement à la transformation digitale dans l'énergie. 

Intégrer la gouvernance ML dès la conception des produits 

Le workflow de conception permet d’identifier très tôt les besoins en algorithmes. Un processus de recueil des besoins organise ensuite les échanges entre les métiers (Business Owners, Product Owners), les Data Scientists et les ML Engineers. Il sert à préciser les données requises, le besoin fonctionnel et les contraintes techniques avant le développement du modèle. Tous les acteurs du projet sont sensibilisés aux enjeux du ML pour fluidifier les échanges. 

La protection des données, la conformité réglementaire et la gouvernance de l’intelligence artificielle sont examinées dès cette phase. L’équipe de Data Scientists assure ensuite la maintenance des algorithmes livrés. 

Donner aux Data Scientists un environnement adapté à la conception des modèles 

Les Data Scientists disposent d’un accès contrôlé aux données nécessaires à l’analyse et à l’entraînement des modèles. Datanumia a retenu Python pour le développement des algorithmes de ML. Ce langage donne accès aux bibliothèques et modèles de référence. Les équipes sélectionnent ainsi l’approche adaptée au cas d’usage, dans le cadre technologique défini par Datanumia. 

La plateforme Databricks centralise les travaux sur les données et favorise la collaboration entre Data Scientists. Elle fournit les capacités de calcul nécessaires aux projets tout en permettant de piloter leurs coûts. Elle prend aussi en charge le cycle de vie des artefacts propres au ML : les jeux de données et les modèles enregistrés dans MLflow. 

Ces travaux alimentent ensuite des services accessibles aux clients, comme notre moteur de recommandations et nos solutions de suivi des consommations énergétiques à destination des particuliers ou des professionnels. 

Industrialiser le déploiement des modèles avec le MLOps 

La démarche MLOps automatise le passage du travail des Data Scientists vers la production. Les processus CI/CD assurent la livraison des modèles dans MLflow. Des pipelines permettent ensuite de packager et de déployer les composants applicatifs, sous forme de batchs ou d’API, qui utilisent ces modèles. Le SI et les compétences de Datanumia ont également évolué pour intégrer les développements Python livrés par les Data Scientists.  

L’outil MLflow gère tout le cycle de vie des modèles ML. Il intervient dès la conception pour comparer les performances des modèles testés. Lors du déploiement, il permet de publier le modèle retenu. Il fait ainsi le lien entre la livraison du Data Scientist et l’intégration de l’algorithme dans une fonctionnalité par les équipes de développement. L’infrastructure Cloud du Système d’Information de Datanumia prend en charge les traitements de calculs distribués nécessaires au ML à grande échelle. 

Le suivi se poursuit après la mise en production. Lors de la phase l’inférence, les algorithmes produisent des indicateurs en complément de leurs prédictions. Ces données alimentent des tableaux de bord destinés au suivi de la performance algorithmique. Les plateformes et processus intègrent aussi des exigences de sécurité, de gestion des accès et de traçabilité afin de protéger les données et de maintenir la fiabilité des modèles déployés en production. 

Du POC à l’industrialisation du Machine Learning

Une démarche de Data Science peut atteindre le stade du POC au sein d’une équipe de Data Scientists. Mais intégrer durablement des algorithmes de Machine Learning aux produits implique de mobiliser l’entreprise au-delà de cette seule équipe. Gouvernance, métiers, développement, infrastructure et MLOps doivent s’articuler pour passer du modèle entraîné à un service déployé, suivi et maintenu en production.

Crédits photo : Emile Perron - Unsplash