IA de confiance
10/05/2021

Intelligence Artificielle et éthique : comment définir et mesurer l’équité algorithmique ?


Auteurs : Salah Chadli, Philippe Neveux, Thibaud Real
Temps de lecture : 12 minutes
Quantmetry.com : Intelligence Artificielle et éthique : comment définir et mesurer l’équité algorithmique ?

Les techniques de Machine Learning sont de plus en plus utilisées dans des contextes de prise de décision avec des implications sociétales importantes. Ces mécanismes automatisés de décision agissent sur la base de conceptions explicites ou implicites de la notion de l’équité.

Parfois, cette équité est difficile à définir et à implémenter, ou même n’est pas prise en compte dans le développement d’une solution d’intelligence artificielle.

Un des cas les plus connus montrant l’importance et la complexité de cette problématique est COMPAS (Correctional Management Profiling for Alternative Sanctions). Un logiciel d’aide à la décision utilisé aux États-Unis, déterminant la probabilité qu’un accusé puisse devenir récidiviste. Dans un article publié en 2016, ProPublica démontre un biais flagrant dans les prises de décision de COMPAS envers certaines populations en leur attribuant systématiquement un risque significativement plus élevé.

Les dérives liées à l’équité des modèles algorithmiques sont réelles et mènent la recherche à s’intéresser au problème en publiant chaque année de plus en plus de papiers scientifiques sur le sujet.

Figure 1 : Nombre de papiers scientifiques liés à l’équité en Machine Learning

Ces dérives ont mené les instances de l’Union Européenne à se pencher sur la question de la confiance des algorithmes d’IA et ainsi publier un livre blanc en février 2020 qui s’appuie essentiellement sur 7 exigences préparant une nouvelle législation sur l’utilisation de tels algorithmes. Nous vous en parlions en novembre dernier dans cet article. Parmi ces exigences, une en particulier nous intéresse ici : Diversité, non-discrimination et équité. Cette exigence pointe du doigt les biais qui existent dans les données d’entraînement d’un algorithme d’IA.

Cette volonté d’instaurer un cadre réglementaire incite les entreprises à prendre les mesures nécessaires afin de développer des algorithmes équitables, notamment celles des secteurs les plus sujets à discrimination, entre autres : médical, bancaire, judiciaire, ressources humaines.

Pour aider ces entreprises dans cette transition, Quantmetry a conçu QM Auditor, une méthodologie d’audit de modèles unique répondant à ces préoccupations :

  • Limiter les biais et mieux intégrer les préoccupations éthiques dans la conception des modèles.
  • Répondre aux exigences métiers clés pour l’adoption des algorithmes d’IA
  • Anticiper la future réglementation sur l’IA basée sur les travaux en cours de la CNIL et de l’UE

L’objectif premier de cet article est d’introduire et sensibiliser à la complexité de la problématique de l’équité dans l’intelligence artificielle : Comment définir et quantifier les biais algorithmiques ? Comment les corriger pour assurer une solution plus juste ? Et enfin, quels sont les outils déjà existants sur le sujet ?

 

Comment définir l’équité algorithmique ?

Il n’existe pas aujourd’hui de définition universelle de l’équité. Dans le cadre algorithmique de la prise de décision, Mehrabi et al. donnent la définition très générale suivante qui inclut deux éléments essentiels que sont la discrimination et la distinction de groupes :

L’équité algorithmique correspond à l’absence de tout favoritisme ou discrimination à l’égard d’un individu ou d’un groupe formé par des caractéristiques innées ou acquises.

Il s’agit donc de vérifier et d’évaluer l’absence de tout tort, discrimination que pourraient engendrer les décisions prises par un algorithme. L’enjeu consiste alors à définir précisément ces biais que l’on souhaite éviter afin de mettre en place des métriques permettant de les mesurer et les corriger.

 

Variables protégées / sensibles

Les groupes évoqués dans la définition précédente peuvent être définis à partir de variables appelées variables protégées ou variables sensibles. Ces variables permettent de caractériser socio-culturellement chaque donnée. Par exemple, l’origine ethnique, l’orientation sexuelle, et les convictions religieuses et politiques sont des caractéristiques explicitement et légalement définies comme sensibles. Il est intéressant de noter qu’il peut exister d’autres variables non sensibles liées à ces premières indirectement (par exemple une variables corrélée à une variable sensible).

Supprimer des variables directement ou indirectement sensibles lorsque l’on entraîne un modèle de Machine Learning n’est pas nécessairement une bonne stratégie. En effet, il peut malgré tout subsister un biais algorithmique en sortie du modèle. Les supprimer peut même empirer les biais existants. En revanche, il est nécessaire de croiser les variables sensibles avec les décisions du modèle afin de pouvoir identifier les potentiels biais existants correspondant à des décisions discriminatoires prises par le modèle.

 

Mesures de l’équité algorithmique

Il existe une multitude d’aspects de l’équité algorithmique, chacun est associé à des mesures mathématiques permettant de le quantifier.
On pourrait imaginer constituer un ensemble de métriques formant un cadre universel permettant de déterminer les biais décisionnels introduits par un algorithme, mais en réalité, combiner certaines de ces métriques se révèle souvent difficile voire impossible. En particulier, cet article montre l’incompatibilité entre la calibration (voir ci-dessous) et les métriques cherchant à équilibrer les classes de la variable cible pour les différents groupes.

Par exemple, dans le cas COMPAS introduit plus haut, un critère particulier de l’équité a été choisi. Les discriminations identifiées sont dues à son incompatibilité avec d’autres mesures de l’équité.

Pour cet article introductif, nous présentons uniquement le cas de la classification binaire. Outre sa simplicité, il s’agit également du cas le plus étudié dans la littérature et qui trouve des applications multiples (octroi de crédit, embauche, scoring client, etc.). Afin de clarifier ces définitions, elles sont illustrées par l’exemple de l’octroi de crédit qui consiste à prédire la probabilité qu’une somme prêtée soit bien remboursée par la personne, c’est-à-dire calculer le risque associé au défaut de crédit.

On introduit au préalable les notations suivantes :
Y : classe cible que l’algorithme cherche à prédire.
S : variable représentant le score associé à la prédiction de l’algorithme (valeur entre 0 et 1).
Ŷ : décision prise par l’algorithme.
G : la variable sensible qui définit les groupes pour lesquels on souhaite mesurer les différents biais.

 

1. Independence

Les métriques qui cherchent à satisfaire le critère d’independence mesurent l’influence des groupes définis par la variable sensible sur la classe prédite.
Parmi ces mesures, on retrouve notamment la définition suivante :

Statistical Parity

Cette métrique évalue si chaque groupe a la même probabilité d’appartenir à la classe prédite positive :

    \[Pr(\hat{Y}=1|g_i) = Pr(\hat{Y}=1|g_j)\]

Dans le cas de l’octroi de crédit, par exemple, il s’agit donc de comparer les probabilités de pouvoir rembourser un crédit (données par le modèle) selon que l’on est un homme ou une femme. Si 4 hommes et 12 femmes demandent un crédit, et si l’algorithme décide d’octroyer 8 crédits, on sou