Fait pour qui ?
Women at the Table/FemTechnology
Session 184
Données stratifiées en fonction du sexe et intégrité de l’IA à haut risque
L’appel
Des systèmes d’IA à haut risque sont déployés sur des femmes qui n’ont jamais figuré dans les données. Cette session appelle à établir des données stratifiées par sexe et des rapports de performance désagrégés en tant qu’exigences minimales - et non meilleures pratiques - pour tout système d’IA déployé dans les soins de santé ou la justice pénale. Alors que le premier Dialogue mondial sur la gouvernance de l’IA se tiendra parallèlement au Forum 2026 du SMSI à Genève en juillet, la fenêtre pour intégrer ces exigences au niveau de la normalisation multilatérale est désormais ouverte.
Contexte
Les systèmes d’IA dans les soins de santé et la justice pénale produisent systématiquement des résultats pires pour les femmes – non pas à cause d’échecs au niveau du modèle, mais parce que les données sur lesquelles ils forment ont été construites par des institutions qui ont historiquement exclu les femmes. Les essais cliniques ont porté par défaut sur la physiologie masculine jusqu’en 1993. Les directives de diagnostic ont été calibrées sur des corps masculins. Les dossiers judiciaires ont été façonnés par des décennies d’évaluations de crédibilité genrées. Lorsque l’IA s’entraîne sur cette base, elle ne corrige pas ces exclusions. Il les met à l’échelle.
Les conséquences sont quantifiées et documentées. Les systèmes d’IA entraînés sur des données de santé non représentatives réduisent la précision du diagnostic de 11,3 points de pourcentage. Les algorithmes de prédiction des maladies cardiaques sont toujours moins précis pour les femmes, même lorsqu’ils sont formés sur des ensembles de données équilibrées entre les sexes. Les outils d’évaluation du risque judiciaire surestiment systématiquement la récidive des femmes – les femmes classées comme « à haut risque » récidivent à moins de la moitié du taux des hommes ayant le même score. Des modèles de langage de pointe produisent des évaluations cliniques différentes à partir de notes de cas identiques selon que le patient est étiqueté comme homme ou femme. Ce ne sont pas des cas limites. Ils sont le résultat prévisible de données structurellement incomplètes - et les mesures de précision agrégées les cachent.
Il s’agit d’une crise d’intégrité des données, et pas seulement d’une question d’équité. Les systèmes qui tombent en panne pour la moitié de la population ne sont pas des systèmes très performants. Ce sont des systèmes dont les échecs sont dissimulés par les mesures que nous utilisons pour les évaluer.
Projets pertinents
Deux ensembles de travaux sont le point d’ancrage de cette session. Invisible by Design : Women’s Health as the Blind Spot in AI and Medicine (Women At The Table & FemTechnology, 2025) retrace l’ensemble de la cascade à six niveaux - de la recherche clinique par défaut masculin à la documentation biaisée des dossiers médicaux électroniques en passant par les résultats biaisés de l’IA - et documente comment les correctifs d’équité appliqués au niveau du modèle ne peuvent pas réparer un problème d’infrastructure de données. Les préjugés sexistes dans les algorithmes judiciaires : une analyse globale de la discrimination algorithmique (Women At The Table, CSW70 Expert Paper, 2026) montre que le même modèle structurel – absence de données en amont, résultats biaisés et mesures agrégées qui dissimulent l’échec des sous-groupes – fonctionne de manière identique dans l’IA de justice pénale. Ensemble, ces documents établissent une base de données intersectorielle qui redéfinit l’écart entre les sexes en matière de données comme un défi de gouvernance technique, et non comme une aspiration à la diversité.
Vision du SMSI pour l’après-2025, à l’horizon 2035
Le Forum 2026 du SMSI arrive à un moment charnière : le premier Dialogue mondial sur la gouvernance de l’IA, qui s’est tenu en juillet 2026 à Genève, établit pour la première fois des normes multilatérales en matière d’IA. Si les exigences en matière de données stratifiées en fonction du sexe ne sont pas intégrées à ce stade, elles devront être modernisées — à un coût plus élevé et avec d’autres dommages.
Cette session est conçue pour produire un résultat concret à temps pour ce processus : une déclaration de cadre sur les données minimales stratifiées en fonction du sexe et les exigences de rapport de performance désagrégées pour les systèmes d’IA à haut risque. La vision n’est pas une autre déclaration de principe. Il s’agit d’un document de la société civile à soumettre, prêt à entrer dans le processus de dialogue mondial, les consultations sur la mise en œuvre de la loi européenne sur l’IA et les mécanismes des organes conventionnels des Nations Unies, y compris les recommandations générales 40 et 41 de la CEDAW, qui traduit l’engagement du SMSI en faveur d’une infrastructure numérique centrée sur l’humain, inclusive et axée sur le développement en une norme technique exécutoire. Ce que le SMSI a établi comme vision, cette session vise à la faire progresser en tant qu’exigence.
-
C1. Le rôle des gouvernements et de toutes les parties prenantes dans la promotion des TIC pour le développement
-
C4. Le renforcement des capacités
-
C6. Créer un environnement propice
-
C7. Les applications TIC et leur apport dans tous les domaines — Administration électronique
-
C7. Les applications TIC et leur apport dans tous les domaines — Télésanté
-
C7. Les applications TIC et leur apport dans tous les domaines — Cybertravail
-
C10. Dimensions éthiques de la société de l'information
-
C11. Coopération internationale et régionale
C1 — Le rôle des gouvernements et de toutes les parties prenantes Les gouvernements comptent parmi les plus gros acheteurs de systèmes d’IA utilisés dans les soins de santé, la justice pénale et les services sociaux — les domaines précis où l’écart entre les données entre les sexes produit le plus d’échecs en conséquence. Cela est vrai dans les pays à revenu élevé, et tout aussi vrai dans les pays du Sud, où le déploiement de l’IA dans le secteur public s’accélère et où les cadres d’approvisionnement sont toujours en cours d’établissement. Cette session traite de la responsabilité de tous les gouvernements d’exiger des preuves de validation stratifiée en fonction du sexe avant de déployer l’IA à haut risque dans les applications du secteur public. La déclaration cadre élaborée définira des leviers concrets en matière d’achat et de réglementation permettant aux gouvernements — y compris ceux dont la capacité réglementaire est limitée — de faire de la communication désagrégée des résultats une condition du déploiement et non une divulgation facultative.
C4 — Renforcement des capacités L’exigence de données stratifiées en fonction du sexe n’est applicable que si les régulateurs, les responsables des achats et la société civile savent ce qu’ils doivent demander et comment interpréter ce qu’ils reçoivent. Ce déficit de capacités est criant dans les pays du Sud, où les cadres de gouvernance de l’IA sont plus récents et où l’expertise technique en matière d’audit algorithmique est moins établie, mais où les conséquences du déploiement de systèmes non validés sont les plus graves. Cette session contribue directement à cette capacité en nommant les mesures, les méthodologies d’audit et les formats de rapport spécifiques qui rendent les rapports de performance désagrégés significatifs dans la pratique. Les résultats de la session sont conçus pour être immédiatement utilisables par les acteurs qui ont besoin de mettre en œuvre ces exigences dans divers contextes réglementaires.
C6 — Environnement propice Les données stratifiées en fonction du sexe et les rapports de performance ne peuvent pas être exigés des systèmes d’IA si l’infrastructure de données sous-jacente ne les prend pas en charge. Les normes de données de santé (HL7/FHIR, ICD, SNOMED) et les architectures de données judiciaires doivent inclure des champs structurés pour les variables biologiques – cycle menstruel, grossesse, ménopause – qui modifient la signification clinique de chaque point de données qu’elles contiennent. Dans une grande partie des pays du Sud, l’infrastructure des données de santé est encore en cours de construction : c’est le moment de s’assurer qu’elle est bien construite, avec des champs stratifiés selon le sexe intégrés dès le départ plutôt que modernisés. Cette session traite les normes d’infrastructure de données comme une base réglementaire, et non comme une réflexion technique après coup, et engage les organismes de normalisation dont les décisions déterminent les champs existants dans les systèmes sur lesquels l’IA s’entraîne à l’échelle mondiale.
C7 — Cybersanté La base de données est la plus claire et la plus développée dans le domaine de l’IA dans le domaine de la santé. Les systèmes d’IA entraînés sur les données cliniques par défaut des hommes réduisent la précision du diagnostic pour les femmes de 11,3 points de pourcentage. Les algorithmes de prédiction des maladies cardiaques sont moins performants pour les femmes, même sur des ensembles de données équilibrés entre les sexes. Les variables manquantes ne sont pas obscures – ce sont les champs d’étape de la vie que les dossiers de santé électroniques omettent régulièrement. Pour les femmes des pays du Sud, où l’infrastructure de diagnostic est plus mince et où les outils cliniques d’IA sont souvent importés sans validation locale, ces échecs sont aggravés : les systèmes qui fonctionnent mal pour les femmes dans les contextes où ils ont été développés fonctionnent encore moins bien lorsqu’ils sont déployés dans différentes populations sans audit ventilé par sexe. Cette session aborde à quoi doivent ressembler les exigences en matière de données stratifiées selon le sexe dans l’IA clinique à l’échelle mondiale, et ce que doit signifier la validation par rapport aux données féminines avant qu’un système soit considéré comme apte au déploiement.
C7 — Cybergouvernement Les outils d’évaluation des risques judiciaires, les algorithmes d’éligibilité à l’aide sociale et les systèmes d’attribution des services sociaux sont des applications d’IA gérées par le gouvernement qui ont des conséquences directes sur la vie des femmes. La surestimation systématique de la récidive des femmes et l’attribution différenciée des services sociaux selon le sexe documentées dans des recherches récentes reflètent le même échec structurel que l’IA des soins de santé : des systèmes entraînés sur des dossiers institutionnels historiquement biaisés, déployés sans validation ventilée par sexe. Dans les pays du Sud, ces outils sont de plus en plus utilisés dans les systèmes judiciaires et de protection sociale avec des mécanismes de surveillance limités et des obstacles importants aux contestations judiciaires, ce qui rend les exigences de validation préalable au déploiement d’autant plus essentielles. Cette session aborde les exigences de gouvernance de l’IA dans l’administration publique aussi directement que dans les milieux cliniques.
C7 — Cybertravail Les outils algorithmiques d’embauche, de gestion du rendement et de sélection d’emploi appliquent l’IA aux décisions relatives au marché du travail à grande échelle. Lorsque les données sur la formation reflètent des modèles d’emploi historiquement sexospécifiques, ces systèmes risquent de coder et d’amplifier les inégalités existantes. Dans les pays du Sud, où l’emploi informel et l’exclusion sur le marché du travail affectent déjà les femmes de manière disproportionnée, le déploiement de l’IA pour l’emploi sans validation ventilée par sexe ajoute une couche supplémentaire de désavantage algorithmique. Le cadre intersectoriel de cette session inclut explicitement l’IA en matière d’emploi, et les exigences minimales de la déclaration cadre pour la validation stratifiée en fonction du sexe sont conçues pour s’appliquer à tous les domaines d’application à haut risque et à tous les contextes de revenu.
C10 — Dimensions éthiques de la société de l’information. Les mesures de précision agrégées ne constituent pas une norme éthique suffisante pour l’IA à haut risque. Un système qui fonctionne bien en moyenne tout en laissant systématiquement tomber les femmes – et qui les laisse tomber plus sévèrement dans les pays du Sud où les mécanismes de recours sont les plus faibles – n’est pas un système très performant. C’est un système dont les échecs sont cachés par les mesures utilisées pour l’évaluer. Cette session redéfinit les rapports désagrégés par sexe et par caractéristiques croisées comme l’expression minimale de l’engagement éthique de l’IA, déplaçant la conversation des principes vers des exigences exécutoires. La déclaration cadre vise à donner à la dimension éthique du Forum 2026 du SMSI une forme technique et opérationnelle qui dépasse Genève.
C11 — Coopération internationale et régionale Le fossé entre les hommes et les femmes en matière de données sur l’IA est un problème mondial qui nécessite des solutions multilatérales. Les obligations de la CEDAW, le Pacte numérique mondial et le Dialogue mondial inaugural sur la gouvernance de l’IA fournissent tous des cadres existants permettant de faire progresser les exigences minimales en matière de données stratifiées en fonction du sexe à l’échelle internationale. Les femmes des pays du Sud sont confrontées aux effets combinés de la rareté des données, de l’affaiblissement des environnements réglementaires et du déploiement de systèmes validés sur des populations qui ne les représentent pas, ce qui fait de la coopération internationale sur les normes minimales non seulement une question de gouvernance, mais aussi un impératif d’équité. Le produit de cette session est explicitement positionné pour être soumis au processus du Dialogue mondial, et sa conception centre les voix du Sud en tant que co-auteurs des exigences, et non en tant que destinataires de normes développées ailleurs. Le Forum 2026 du SMSI est le bon moment, et Genève le bon endroit, pour faire en sorte que la première génération de normes multilatérales sur la gouvernance de l’IA soit conçue pour toutes les femmes – et pas seulement pour celles dont les données ont été collectées.
-
Objectif 3: Permettre à tous de vivre en bonne santé et promouvoir le bien-être de tous à tout âge
-
Objectif 5: Parvenir à l’égalité entre les sexes et autonomiser toutes les femmes et les filles
-
Objectif 8: Promouvoir croissance économique soutenue, plein emploi productif et travail décent pour tous
-
Objectif 10: Réduire les inégalités dans les pays et d’un pays à l’autre
-
Objectif 16: Promouvoir l’avènement de sociétés pacifiques, l’accès de tous à la justice et des institutions efficaces
-
Objectif 17: Renforcer les moyens du partenariat mondial pour le développement durable et le revitaliser
ODD 3 – Bonne santé et bien-être L’IA dans le domaine de la santé est le principal domaine de preuve de la session, et les échecs documentés sont des échecs des résultats de santé : précision diagnostique réduite, événements cardiaques manqués, traitement retardé et évaluations cliniques qui diffèrent en fonction de l’étiquette du sexe du patient plutôt que de sa présentation clinique. Pour les femmes des pays du Sud, où les capacités du système de santé sont plus limitées et où les outils cliniques de l’IA sont souvent importés sans validation locale, ces échecs se traduisent directement par des maladies évitables, des retards dans les soins et des décès évitables. L’établissement de données minimales stratifiées en fonction du sexe et d’exigences de validation pour l’IA clinique est une condition préalable pour que l’IA contribue à l’ODD 3 plutôt que de le compromettre. Cette session fait de cette exigence une norme de gouvernance concrète.
ODD 5 – Egalité hommes-femmes et autonomisation de toutes les femmes et de toutes les filles L’égalité hommes-femmes est l’engagement fondamental de chaque élément de cette session. Les systèmes d’IA qui produisent systématiquement des résultats pires pour les femmes dans les domaines de la santé, de la justice pénale et de l’emploi ne sont pas des outils neutres – ce sont des infrastructures qui codent et mettent à l’échelle l’exclusion historique. Pour atteindre l’ODD 5 dans un monde où les décisions à haut risque sont de plus en plus automatisées, il faut que les données qui sous-tendent ces décisions représentent précisément les femmes, que les systèmes soient validés par rapport aux résultats des femmes avant leur déploiement et que les femmes – y compris les femmes des pays du Sud – soient présentes en tant que co-conceptrices des normes régissant ces systèmes, et pas seulement en tant que sujets de leurs produits. La déclaration cadre produite par cette session est une contribution directe à l’opérationnalisation technique de l’ODD 5.
ODD 8 — Travail décent et croissance économique Les conséquences de l’IA sexiste vont au-delà de la santé et de la justice à la vie économique. Les algorithmes de sélection et d’embauche de l’emploi entraînés sur des données sur le marché du travail historiquement genrées risquent de désavantager systématiquement les femmes au point d’accès à un travail décent. Les erreurs de diagnostic et les traitements retardés – résultats prévisibles de l’IA dans le domaine des soins de santé entraînée sur des données sur les défauts des hommes – génèrent des coûts économiques supportés de manière disproportionnée par les femmes : perte de revenus, participation réduite au marché du travail et fardeau des soins qui pèse sur les femmes lorsque les systèmes de santé ne parviennent pas à identifier et à traiter leurs maladies avec précision. Dans les pays du Sud, où la participation économique des femmes est déjà limitée par des obstacles structurels, ces échecs algorithmiques aggravent les désavantages existants. Exigences de validation stratifiées en fonction du sexe pour l’emploi et les soins de santé L’IA est donc un enjeu de l’ODD 8 autant que de l’ODD 5.
ODD 10 – Réduction des inégalités Le manque de données entre les sexes dans l’IA est un mécanisme de reproduction des inégalités. Lorsque des systèmes d’IA entraînés sur des données historiquement biaisées sont déployés à grande échelle - dans des environnements cliniques, des salles d’audience, des bureaux d’aide sociale et des processus d’embauche - ils ne reflètent pas seulement les inégalités existantes ; ils les institutionnalisent sous forme algorithmique et les appliquent à une vitesse et à une échelle qu’aucune bureaucratie humaine ne pourrait égaler. Les mesures globales utilisées pour évaluer ces systèmes dissimulent leur impact différentiel, ce qui permet à l’échec systématique des femmes, et en particulier des femmes à l’intersection du sexe, de la race et de la géographie, de rester invisible dans les dossiers officiels de performance. Des rapports ventilés par sexe et par caractéristiques croisées sont l’exigence technique minimale pour rendre les inégalités visibles - et la visibilité est la condition préalable à la responsabilité. Cette session fait de cette exigence une norme de gouvernance applicable aux pays à revenu élevé et aux pays du Sud.
ODD 16 – Paix, justice et institutions efficaces Les outils d’évaluation des risques judiciaires qui surestiment systématiquement la récidive des femmes et les algorithmes de protection sociale qui allouent moins de ressources aux femmes ayant des besoins identiques à ceux des hommes sont des échecs des institutions chargées de rendre justice et protection. Des institutions fortes à l’ère de l’IA exigent que les systèmes de prise de décision automatisés utilisés dans les contextes judiciaires et administratifs publics soient validés par rapport aux résultats de toutes les populations qu’elles gouvernent, et non optimisés pour des mesures de performance agrégées qui cachent les défaillances des sous-groupes. Dans les juridictions du Sud où la contestation juridique des décisions algorithmiques est plus difficile et les mécanismes de responsabilité institutionnelle plus faibles, le déploiement de l’IA judiciaire non validée constitue une menace particulièrement aiguë pour l’ODD 16. Les exigences de validation stratifiées en fonction du sexe avant le déploiement sont le fondement d’une gouvernance juste et responsable de l’IA, et cette session les promeut en tant que telles.
ODD 17 – Partenariats en faveur des objectifs Aucun gouvernement, organisme de normalisation ou organisation de la société civile ne peut à lui seul combler le fossé entre les hommes et les femmes dans le domaine de l’IA. Le problème est structurel, intersectoriel et mondial – et la solution exige le type de partenariat multilatéral soutenu préconisé par l’ODD 17. Cette session est conçue pour construire exactement cela : réunir des organismes de normalisation des données, des développeurs d’IA, des régulateurs, des membres d’organes conventionnels et des sociétés civiles du Nord et du Sud pour produire une déclaration de cadre commune qui peut être transmise simultanément dans de multiples processus de gouvernance. Le fait qu’il coïncide avec le premier Dialogue mondial sur la gouvernance de l’IA fait du Forum 2026 du SMSI un point d’entrée unique pour faire en sorte que la première génération de normes multilatérales sur l’IA reflète un véritable partenariat mondial, dans lequel les communautés qui supportent le plus les coûts de l’écart entre les hommes et les femmes en matière de données sont présentes en tant qu’architectes de la solution.
- Objectif 1 : Combler toutes les fractures numériques et accélérer les progrès vers la réalisation des Objectifs de développement durable
- Objectif 2 : Élargir l'inclusion et les bénéfices de l'économie numérique pour tous
- Objectif 3 : Favoriser un espace numérique inclusif, ouvert, sûr et sécurisé qui respecte, protège et promeut les droits de l'homme
- Objectif 4 : Promouvoir des approches de gouvernance des données responsables, équitables et interopérables
- Objectif 5 : Améliorer la gouvernance internationale de l'intelligence artificielle au bénéfice de l'humanité