Page 35 - Mégadonnées, apprentissage automatique, protection des usagers et confidentialité

lisateur qu'une personne a des problèmes de liquidi- ciale sous-optimale pour le fournisseur de services.
tés financières, les prêteurs sur salaire peuvent être Si le code postal d'un demandeur de prêt affecte son
en mesure de cibler les personnes vulnérables avec score et entraîne le rejet de sa demande de prêt alors
des publicités et des offres de prêts à des taux d'in- qu'il dispose d'un revenu sain, d'un faible niveau d'en-
térêt et des frais élevés. La concurrence d'entreprises dettement et d'autres attributs positifs, le prêteur a
comme ZestFinance peut effectivement faire bais- manqué une occasion d'accorder un prêt rentable.
ser le coût des prêts octroyés à ces groupes, mais Sur un marché statique idéal où les fournisseurs
si une sélection discriminatoire entraîne des résultats sont en concurrence pour le même service et sont à
négatifs pour un individu, cela pourrait soulever des même de l'améliorer pour accroître leur part de mar-
inquiétudes . ché, on pourrait s'attendre à ce que les développeurs
137
améliorent les algorithmes au fil du temps pour élimi-
La lutte contre les tendances à la discrimination ner les biais. Toutefois, sur un marché dynamique où
L'une des manières d'aborder la tendance potentielle de nouveaux modèles et services sont constamment
de l'apprentissage automatique à la discrimination mis au point et de nouvelles données sont ajoutées
consiste à prendre en compte le caractère aléatoire en permanence, il se peut que les biais soient corri-
des données . Par exemple, un algorithme d'appren- gés, mais qu'un modèle soit mis à jour ou remplacé
138
tissage automatique employé pour l'octroi de crédits par un nouveau qui reflétera peut-être un autre biais,
peut être entraîné grâce à des données initiales qui ce qui répète le problème. Les entreprises peuvent
indiquent qu'un certain groupe (défini en fonction, également se concentrer davantage sur une crois-
par exemple, du code postal, du genre ou de l'ap- sance rapide pour conquérir le nouveau marché,
partenance ethnique des personnes) a tendance à tout en considérant l'impact discriminatoire sur les
rassembler des débiteurs moins fiables. Si le modèle groupes protégés comme un aspect de moindre
permettait d'octroyer un crédit à d'autres groupes, importance. Même si l'on peut s'attendre à ce que le
il pourrait en résulter une prophétie autoréalisatrice marché affine avec le temps les algorithmes afin de
selon laquelle les caractéristiques des personnes réduire les biais, dans de nombreux cas, il est tout
qui règlent leurs dettes sont liées à leur non-appar- simplement inacceptable, socialement et politique-
tenance au groupe protégé. L'incorporation d'un ment parlant, d'autoriser les biais liés à l'apparte-
élément aléatoire dans le modèle, de sorte que nance ou à l'origine ethnique, ou encore au genre.
certains individus qui, d'après les déductions tirées, Une question clé est de savoir dans quelle mesure
ne seraient généralement pas considérés comme des l'industrie doit assumer la responsabilité et le coût
débiteurs fiables bénéficient néanmoins d'un crédit, liés à l'identification des biais, en utilisant les données
pourrait permettre au modèle de vérifier la validité à sa disposition pour repérer toute discrimination
des hypothèses initiales. L'introduction de données éventuelle. Lorsque la prise de décisions automati-
évolutives reflétant mieux le monde réel peut contri- sée est à l'origine de discriminations et de préjudices
buer à améliorer l'équité et la précision globales du illicites en vertu des lois en vigueur, les entreprises
système. qui recourent à un tel processus peuvent utiliser des
Une autre approche proposée consiste à sélec- outils (et, selon certaines lois, en avoir l'obligation),
tionner ou à modifier les données d'entrée de afin de s'assurer que l'utilisation des données n'exa-
manière à ce que le produit réponde aux critères cerbera pas les préjugés historiques, ainsi que des
d'équité appliqués par le système. Pour ce qui est méthodes de traitement des données qui évitent
des groupes minoritaires, des échantillons d'appren- d'utiliser des variables de substitution pour les caté-
tissage supplémentaires peuvent être sélectionnés gories protégées. En outre, il peut s'avérer nécessaire
afin d'éviter de trop mettre en avant leur statut de de faire examiner les résultats des algorithmes par
minorité. D'autres méthodes peuvent être adoptées des êtres humains. Il est également possible d'utiliser
pour garantir la parité statistique entre les groupes ; les données disponibles pour repérer les discrimina-
139
l'important est de veiller à ce qu'elles soient incor- tions, et d'obliger les entreprises à le faire par voie
porées au modèle à l'étape de conception, même en réglementaire.
utilisant l'intelligence artificielle pour surveiller l'utili- Même si les résultats n'enfreignent pas les lois
sation de l'intelligence artificielle. interdisant la discrimination fondée sur l'apparte-
Dans certains cas, on pourrait s'attendre à ce qu'il y nance ethnique, la religion ou tout autre facteur
ait une incitation commerciale à éliminer les biais. La propre à une catégorie protégée, le préjudice injuste
partialité ne nuit pas seulement à la réputation d'un causé aux personnes peut amener les entreprises à
service, elle peut instaurer une économie commer- adopter des cadres déontologiques et de "bonnes

Mégadonnées, apprentissage automatique, protection des usagers et confidentialité 33