Cycle de vie des modèles
Les modèles d’intelligence artificielle présentent la particularité d’être probabilistes et de dépendre fortement des données qu’ils ingèrent. Les données elles-mêmes sont soumises aux aléas du monde qui les génère. En conséquence, la plupart des modèles prédictifs voient leurs performances chuter dès la mise en production. Il faut alors ré-entraîner le modèle pour espérer maintenir son niveau de fonctionnement : c’est ce qu’on appelle le cycle de vie des modèles.
Les données, des éléments clés dans le processus
Le cycle de vie des modèles commence tout d’abord par le cycle de vie des données. D’abord pour prédire, le modèle doit être branché sur des données émises au jour le jour. Ensuite pour le ré-entraînement, le modèle doit avoir la possibilité de s’adapter à des données fraîches et labellisées pour maintenir sa performance. Finalement, pour faire de la prédiction, le modèle prédictif se nourrit de données passées pour prédire une information dans le futur. Le modèle est donc impacté par le cycle de vie des données pour deux fonctions différentes : pour s’entraîner d’une part, et pour prédire d’autre part.
Le cycle de vie des modèles a trois objectifs principaux qui sont :
- Mesurer le retour sur investissement (ROI) : le modèle étant en production, il est primordial de mesurer son impact métier et son retour sur investissement.
- Évaluer le risque : il s’agit de construire un modèle robuste aux changements, en tenant compte non seulement de la performance mais aussi du coût de maintenance (acquisition de données labellisées, ré-entraînement, redéploiement).
- Assurer la non-régression : au-delà des dérives de données, il faut aussi se prémunir des dérives proactives de modèle (autrement dit les bugs). C’est toute la méthodologie DevOps appliquée à l’intelligence artificielle qui entre en jeu.
Quelle procédure suivre pour adapter un modèle ?
Pour mettre en place une feuille de route de cycle de vie des modèles, un long processus détaillé doit être établi. Tout d’abord, il faut commencer par définir le responsable (product owner) qui doit avoir une bonne compréhension métier et dont la mission principale est d’orchestrer toutes les compétences nécessaires au cycle de vie.
Ensuite, il faut consolider une chaîne de traitements robustes qui est composée de : données, code, modèle et infrastructure. Chacun de ces points doit faire l’objet de tests unitaires exhaustifs.
Par la suite, il faut installer un système de monitoring ou des indicateurs métiers et financiers, et ce dans une optique d’estimation de ROI.
Une fois ces prérequis mis en place, on peut alors aborder le cycle de vie des modèles proprement dit, en s’attaquant à la robustesse du modèle, au système de détection de dérive avec l’établissement d’un système d’alerting et ainsi, passer à l’identification de la cause de la dérive.
Une fois le problème identifié, il est la plupart du temps trivial de le régler et d’adapter le modèle. Il faut ainsi tester le nouveau modèle en conditions réelles, et maintenir une documentation technique et fonctionnelle du projet au fur et à mesure.
