Page 46 - Mégadonnées, apprentissage automatique, protection des usagers et confidentialité

les individus et les tierces parties (par exemple, l'en- que même lorsque des déductions incorrectes ont
jeu d'un traitement médical est plus important que été tirées de données exactes, l'individu pourrait ne
celui de recommandations cinématographiques) . pas avoir le droit de les rectifier .
187
189
Certains soutiennent que l'absence d'explications Cela relèverait plus généralement de lois sec-
efficaces compromet le principe de responsabilité et torielles, telles que la loi sur les services financiers,
que les lois sur la protection des données et de la vie mais dans la plupart des pays, ces lois interdisent
privée doivent conférer aux usagers un droit effectif uniquement la prise de décisions discriminatoire en
à des déductions raisonnables . fonction de critères spécifiques (tels que l'apparte-
188
Lorsque les déductions risquent fort de rendre des nance ethnique, le genre ou la religion) et ne pres-
décisions défavorables, de nuire à la réputation ou de crivent pas la justesse de la décision elle-même. En
porter atteinte à la vie privée, un tel droit pourrait ce sens, un mauvais algorithme s'apparente à un
exiger du responsable du contrôle des données qu'il mauvais employé de banque qui ne parvient pas à
explique avant le traitement (ex ante) la pertinence prendre une bonne décision en raison d'un manque
de certaines données pour les déductions à tirer, la de jugement ou de son inexpérience: il peut s'agir
pertinence des déductions pour le type de décision d'une mauvaise pratique commerciale, mais ce n'est
à prendre et le traitement automatisé, ainsi que la pas illégal.
précision et la fiabilité statistique de la méthode utili- Toutefois, une loi sur les services financiers peut
sée. Ces explications pourraient s'accompagner de la prescrire certaines procédures en vue de favoriser
possibilité de contester les décisions une fois qu'elles les bonnes décisions. Par exemple, elle peut exiger
ont été prises (ex post). d'un fournisseur de services financiers qu'il procède
Cela permettrait, en plus de contester une déci- à une évaluation des besoins de son client afin de
sion automatisée sur la base de l'exactitude des don- lui proposer un produit qui soit plus susceptible de
nées utilisées, de contester les déductions vérifiables lui convenir . Elle pourrait également exiger des
190
sur lesquelles elle repose (niveau de revenu, patri- évaluations des risques qui garantiront la prise en
moine, état de santé, état civil, etc.). Les déductions compte des risques, y compris dans les algorithmes
non vérifiables peuvent être remises en question par eux-mêmes.
des données supplémentaires, qui pourraient venir
modifier les conclusions. Clarification des explications
Les efforts visant à introduire une réglementa- Il a également été suggéré de remplacer ou de
tion qui s'immisce dans le fond des décisions ou le compléter les explications par un retour d'informa-
processus décisionnel, par opposition aux simples tion "contrefactuel", aussi bien positif que néga-
processus de collecte, d'utilisation et de partage tif, sur les décisions automatisées (et seulement
des données, peuvent être considérés par certains sur celles qui sont en grande partie automatisées).
comme un fardeau pour un secteur novateur émer- Ces explications contrefactuelles peuvent informer
gent qui devrait être laissé libre de développer des la personne concernée non pas tant sur la manière
produits qui profitent aux usagers et de les affiner dont une décision a été prise que sur les variations
sous la pression de la concurrence. D'autres y voient des données d'entrée qui auraient pu conduire à une
une tentative de rééquilibrer la marginalisation des décision différente . Par exemple, un fournisseur
191
usagers résultant de la suppression des éléments de services financiers numériques pourrait infor-
humains des principales étapes de la prise de déci- mer le consommateur de la manière qui suit: "Votre
sions (voir section 7.3). Une interaction humaine demande de prêt indique que votre revenu annuel est
donne la possibilité de rencontrer un décideur ou de 30 000 dollars. S'il avait été de 45 000 dollars, on
quelqu'un qui peut influencer le décideur, d'échanger vous aurait proposé un prêt ."
192
avec lui, et de lui montrer où les déductions étaient Bien sûr, il existe de nombreuses variables d'en-
erronées. Pour que le droit à l'intervention humaine trée dans la prise de décisions, et de nombreuses
dans les décisions automatisées ait de la substance, combinaisons qui pourraient produire un nombre
il peut être nécessaire de préciser le degré d'intégrité quasi infini d'éléments contrefactuels possibles. Il est
que ladite intervention cherche à atteindre dans le donc peu probable que l'on puisse réduire l'explica-
cadre du processus. tion d'une décision à une, voire même à plusieurs,
Les lois sur la protection des données ne garan- variables. En outre, avec une telle approche, les insti-
tissent généralement pas la précision de la prise de tutions doivent faire attention lorsqu'elles s'engagent
décisions, et il est probable qu'il en soit de même à fournir un service dans des conditions alternatives
pour l'exactitude des données d'inférence, de sorte (pour reprendre l'exemple précédent, si l'individu

44 Mégadonnées, apprentissage automatique, protection des usagers et confidentialité