Page 36 - Mégadonnées, apprentissage automatique, protection des usagers et confidentialité

pratiques" pour ajuster les algorithmes, afin de veiller Tarification différenciée et autres conditions
au contrôle et à l'évaluation des résultats. Certaines Grâce aux données disponibles, un fournisseur de
mesures d'atténuation peuvent consister à donner services financiers est en mesure de mieux évaluer le
aux personnes la possibilité (ou le droit) de recevoir risque que représente un consommateur, et donc de
une explication concernant les décisions automati- lui proposer des services qui ne lui seraient peut-être
sées (voir section 7.2) et à recourir à une évaluation pas accessibles autrement. La disponibilité d'un vaste
de l'impact des mesures de protection des données éventail de données sur un consommateur entraîne
(voir section 8). toutefois une asymétrie d'information, le fournisseur
D'autres approches ont été suggérées, notam- en sachant plus sur le consommateur que le consom-
ment l'évaluation aléatoire, de temps à autre, par les mateur sur le fournisseur. Le fournisseur peut profi-
organismes de protection des consommateurs, des ter de cette situation et appliquer ce que les écono-
systèmes de notation des fournisseurs de services mistes appellent une "tarification différenciée", une
financiers (et des prestataires de soins de santé, des pratique qui revient à facturer, pour le même produit,
établissements d'enseignement et d'autres orga- des prix différents à différents consommateurs.
nismes qui prennent régulièrement des décisions La tarification différenciée est toutefois une pra-
concernant les individus). Des scénarios hypothé- tique courante qui présente souvent des avantages
tiques pourraient être utilisés afin d'évaluer si les pour les consommateurs. Prenons l'exemple des bil-
modèles utilisent effectivement des statistiques de lets de train, qui sont souvent vendus à un prix réduit
substitution pour les groupes protégés (apparte- aux étudiants et aux retraités. Cependant, elle peut
nance ethnique, genre, religion, handicap, etc.). Un également susciter un sentiment d'injustice lorsque
audit de ce type pourrait encourager les entreprises certains groupes de population sont amenés à payer
à se prémunir contre ces risques . des prix plus élevés en raison de leur profil (situation
140
géographique, etc.) .
141

Principes FEAT de l'Autorité monétaire de Singapour
1. Les individus ou groupes d'individus ne sont pas systématiquement désavantagés par les décisions
prises grâce aux technologies d'AIDA, sauf si ces décisions peuvent être justifiées.
3. Les données et les modèles utilisés pour prendre des décisions grâce aux technologies d'AIDA sont
régulièrement examinés et validés pour limiter les biais involontaires.

Version préliminaire des normes de la Smart Campaign relatives au crédit numérique
Indicateur 5�2�1�0
En fonction de son appartenance ethnique, son genre, son âge, son handicap, son affiliation politique,
son orientation sexuelle, sa caste et sa religion, une personne peut être placée dans une catégorie
protégée.
Indicateur 5�2�3�0
Les algorithmes sont conçus pour réduire le risque de discrimination des consommateurs liée aux
catégories protégées.
Indicateur 5�2�3�1
Après une phase d'apprentissage initiale, le fournisseur effectue une analyse des liens entre les
variables non discriminatoires et les variables discriminatoires afin de vérifier l'absence de biais invo-
lontaire dans les décisions de crédit automatisées.
Indicateur 5�2�3�2
Si le fournisseur confie le développement de l'algorithme à une tierce partie, il doit exiger de cette
dernière qu'elle respecte les normes exposées à l'indicateur ci-dessus. La tierce partie communique
au fournisseur les informations suivantes: paramètres et documentation de l'algorithme, supports
de formation fournis à l'équipe et documents relatifs à l'historique des tests antérieurs (comprenant
notamment la date, une description et le résultat de chaque test, les éléments de discrimination iden-
tifiés et les mesures correctives prises, le cas échéant).

34 Mégadonnées, apprentissage automatique, protection des usagers et confidentialité