Audit interne des IAs : la confiance au coeur de la démarche
Pourquoi réaliser des audits internes IA de confiance ?
Le marché de l’IA : une croissance folle encore incontrôlée
Depuis 2012 et l’avènement du deep learning lors de la compétition ImageNet [1], le marché de l’intelligence artificielle (IA) est en croissance exponentielle [2] (voir figure ci-dessous). Tout le tissu économique s’en imprègne, tant et si bien que nous ne passons plus une journée sans interagir avec une IA, que ce soit celles qui foisonnent dans nos smartphones, sur nos réseaux sociaux, dans les boutiques en ligne ou dans nos boîtes mails.
Figure 1 : Estimation du PIB généré par l’IA dans les années à venir. Source : [2]
En parallèle de cette évolution créatrice de valeur, on observe également une recrudescence exponentielle des scandales et des risques associés à un usage incontrôlé de l’IA. Certaines IAs ont discriminé des femmes sur le marché de l’emploi [3], ont confondu des afro-américains avec des gorilles [4], ont recommandé à des patients dépressifs de se suicider [5], ou ont incité les policiers à accroître les inégalités de surveillance policière [6]. Aujourd’hui, il existe même une base de données publique recensant nombre de scandales liés à l’utilisation incontrôlée de l’IA dans le monde [7].
L’AI Act : un cadre normatif imminent pour les IAs à risque
En réponse à cette recrudescence des risques, l’Union Européenne, pionnière en la matière, travaille depuis 2018 sur une proposition de loi visant à réguler les IAs, c’est-à-dire tous les systèmes experts, méthodes statistiques ou modèles de machine learning. Les IAs jugées à risques sont au cœur des préoccupations réglementaires [8] (voir figure ci-dessous). Cette législation a vocation à préserver les citoyens européens et leurs droits fondamentaux, ainsi qu’à créer un terreau fertile à l’innovation en Europe, en alignant les législations des différents pays. Elle s’appliquera à tout acteur, même extérieur à l’Union Européenne, dès lors qu’il déploie une IA risquée sur le territoire européen. Enfin, elle s’appliquera à toutes les intelligences artificielles au sens large, incluant l’apprentissage automatique mais également les méthodes statistiques ou les systèmes experts.
Figure 2 : Les niveaux de risques décrits dans l’AI Act. Source : Quantmetry.
Le texte de loi sera voté de manière imminente, au cours de l’année 2023, et entrera en application dès 2025, sur le même modèle que le déploiement du Règlement Général pour la Protection des Données (RGPD)
L’IA de confiance : un prérequis pour se mettre en conformité
L’émergence de cadres réglementaires tels que l’AI Act répond en réalité à une crise de confiance, et trouve de nombreux échos dans le monde entier (le rapport Villani en France [10], l’Artificial Intelligence and Data Act au Canada [11], les standards du NIST [12] ou encore l’Algorithmic Accountability Act aux Etats-Unis [13]). Les entreprises ayant déjà vécu la transformation du RGPD ont désormais besoin de construire un cadre qui définisse l’intelligence artificielle de confiance, et qui soit une passerelle vers la conformité règlementaire.
A l’instar des secteurs déjà réglementés (banque, aviation), c’est bien une logique de gestion de la qualité que l’on voit se mettre en place chez les acteurs les plus en avance sur le sujet. Dans ce cadre, l’audit interne apparaît comme indispensable pour se mettre en ordre de marche vers la conformité réglementaire et d’améliorer la fiabilité des IAs tout au long de leur cycle de vie.
Plus généralement, la dérive des coûts et des délais liée à la non-qualité des livrables projet, le besoin de transparence pour gagner la confiance des utilisateurs, le besoin d’assurer une opérabilité pérenne des systèmes d’IA, sont autant de raison d’adresser le sujet de l’IA de confiance, qui rime souvent avec excellence.
Au sein de Quantmetry, riches de nos 10 années d’expérience en réalisation de projet d’IA de bout-en-bout, et conscients des enjeux stratégiques et réglementaires à venir, nous avons défini l’IA de confiance autour de 8 thèmes principaux (voir figure ci-dessous).
Figure 3 : Les piliers de l’IA de Confiance. Source : Quantmetry.
Chacun de ses thèmes regroupe différentes notions plus précises (voir figure ci-dessous), qui constituent la base de notre méthodologie d’audit IA de confiance, décrite ci-après.
Figure 4 : Les sous-thèmes détaillés des différents piliers IA de Confiance. Source : Quantmetry.
Comment régler sa dette en IA de confiance ?
Implémenter l’IA de confiance nécessite de d’abord analyser sa dette, de prioriser ses cas d’usage selon leurs risques, et ensuite de les analyser en profondeur par un a