¿Adecuado para quién?
Mujeres en la Mesa/FemTechnology
Sesión 184
Datos estratificados por sexo e integridad de la IA de alto riesgo
La llamada
Se están desplegando sistemas de IA de alto riesgo en mujeres que nunca estuvieron en los datos. En esta sesión se pide que los datos estratificados por sexo y los informes de rendimiento desglosados se establezcan como requisitos mínimos, no como prácticas óptimas, para cualquier sistema de IA que se despliegue en la atención sanitaria o la justicia penal. Con el primer Diálogo Mundial sobre la Gobernanza de la IA convocado junto con el Foro de la CMSI 2026 en Ginebra el próximo mes de julio, la ventana para integrar estos requisitos en el ámbito normativo multilateral es ahora.
Antecedentes
Los sistemas de IA en la atención sanitaria y la justicia penal están produciendo sistemáticamente peores resultados para las mujeres, no por fallos a nivel de modelo, sino porque los datos en los que se forman fueron construidos por instituciones que históricamente excluyeron a las mujeres. Los ensayos clínicos se centraron por defecto en fisiología masculina hasta 1993. Las guías diagnósticas se calibraron en cuerpos masculinos. Los registros judiciales fueron moldeados por décadas de evaluaciones de credibilidad basadas en el género. Cuando la IA se entrena sobre esta base, no corrige estas exclusiones. Los escala.
Las consecuencias se cuantifican y documentan. Los sistemas de IA entrenados con datos sanitarios tergiversados reducen la precisión de los diagnósticos en 11,3 puntos porcentuales. Los algoritmos de predicción de enfermedades cardíacas son sistemáticamente menos precisos para las mujeres, incluso cuando se entrenan con conjuntos de datos equilibrados por sexo. Las herramientas judiciales de evaluación de riesgo sobreestiman sistemáticamente la reincidencia de las mujeres: las mujeres calificadas como de "alto riesgo" reinciden en menos de la mitad de la tasa de los hombres con la misma puntuación. Los modelos lingüísticos más avanzados producen diferentes evaluaciones clínicas a partir de notas de casos idénticas, dependiendo de si el paciente se etiqueta como hombre o mujer. No se trata de casos extremos. Son el resultado predecible de datos estructuralmente incompletos, y las métricas de precisión agregada los ocultan.
Esta es una crisis de integridad de datos, no solo una preocupación de equidad. Los sistemas que fallan para la mitad de la población no son sistemas de alto rendimiento. Son sistemas cuyos fallos están ocultos por las métricas que utilizamos para evaluarlos.
Proyectos pertinentes
Esta sesión se articula en torno a dos grandes volúmenes de trabajo. Invisible by Design: Women's Health as the Blind Spot in AI and Medicine (Mujeres en la mesa y FemTechnology, 2025) rastrea la cascada completa de seis capas, desde la investigación clínica por defecto masculina hasta la documentación sesgada de los expedientes electrónicos y los resultados distorsionados de la IA, y documenta cómo los parches de equidad aplicados a nivel de modelo no pueden reparar un problema de infraestructura de datos. El sesgo de género en los algoritmos judiciales: un análisis global de la discriminación algorítmica (Women At The Table, CSW70 Expert Paper, 2026) muestra que el mismo patrón estructural (datos ascendentes faltantes, resultados sesgados y métricas agregadas que ocultan el fracaso del subgrupo) funciona de manera idéntica en la IA de la justicia penal. En conjunto, estos documentos establecen una base de evidencia de dominio cruzado que replantea la brecha de datos de género como un desafío técnico de gobernanza, no como una aspiración de diversidad.
Perspectiva para la CMSI después de 2025, hacia 2035
El Foro de la CMSI de 2026 llega en un momento crucial: el primer Diálogo Mundial sobre la Gobernanza de la IA, que se celebrará en Ginebra en julio de 2026, establece por primera vez normas multilaterales de IA. Si los requisitos de datos estratificados por sexo no están incorporados en esta etapa, tendrán que ser adaptados, a un costo mayor y después de un daño mayor.
Esta sesión está diseñada para producir un resultado concreto a tiempo para ese proceso: una declaración marco sobre los requisitos mínimos de información de rendimiento estratificados por sexo y desagregados para los sistemas de IA de alto riesgo. La visión no es otra declaración de principios. Se trata de un documento de la sociedad civil que se puede presentar, listo para entrar en el proceso de Diálogo Global, las consultas de implementación de la Ley de IA de la UE y los mecanismos de los órganos creados en virtud de tratados de las Naciones Unidas, incluidas las Recomendaciones Generales 40 y 41 de la CEDAW, que traduce el compromiso de la CMSI con una infraestructura digital centrada en las personas, inclusiva y orientada al desarrollo en una norma técnica aplicable. Lo que la CMSI estableció como una visión, esta sesión pretende avanzar como un requisito.
-
C1. La función de los gobiernos y de todas las partes interesadas en la promoción de las TIC para el desarrollo
-
C4. Creación de capacidades
-
C6. Entorno habilitador
-
C7. Aplicaciones de las TIC: ventajas en todos los aspectos de la vida — Gobierno electrónico
-
C7. Aplicaciones de las TIC: ventajas en todos los aspectos de la vida — Cibersalud
-
C7. Aplicaciones de las TIC: ventajas en todos los aspectos de la vida — Ciberempleo
-
C10. Dimensiones éticas de la sociedad de la información
-
C11. Cooperación internacional y regional
C1 — El papel de los gobiernos y de todas las partes interesadas Los gobiernos se cuentan entre los mayores compradores de sistemas de IA utilizados en la atención sanitaria, la justicia penal y los servicios sociales, que son precisamente los ámbitos en los que la brecha de datos de género produce los fallos más importantes. Esto es cierto en los países de ingresos altos, y también en todo el Sur global, donde el despliegue de la IA en el sector público se está acelerando y los marcos de contratación aún se están estableciendo. En esta sesión se abordará la responsabilidad de todos los gobiernos a la hora de exigir pruebas de validación por género antes de desplegar IA de alto riesgo en aplicaciones del sector público. La declaración marco elaborada identificará mecanismos concretos de adquisición y reglamentación mediante los cuales los gobiernos, incluidos aquellos con capacidad reglamentaria limitada, pueden hacer de la notificación desagregada del rendimiento una condición de la implantación y no una divulgación opcional.
C4 — Creación de capacidades La exigencia de datos estratificados por sexo sólo es aplicable si los reguladores, los encargados de compras y la sociedad civil saben qué pedir y cómo interpretar lo que reciben. Esta brecha de capacidad se agudiza en el Sur Global, donde los marcos de gobernanza de la IA son más recientes y los conocimientos técnicos en auditoría algorítmica están menos establecidos, pero donde las consecuencias de desplegar sistemas no validados son más graves. Esta sesión contribuye directamente a esa capacidad, nombrando las métricas específicas, las metodologías de auditoría y los formatos de presentación de informes que hacen que los informes de rendimiento desglosados tengan sentido en la práctica. Los resultados de la sesión están diseñados para que puedan utilizarlos inmediatamente los actores que necesitan poner en práctica estos requisitos en diversos contextos reglamentarios.
C6 — Entorno propicio No puede exigirse a los sistemas de IA que presenten datos estratificados por sexo e informes de rendimiento si la infraestructura de datos subyacente no los soporta. Las normas de datos sanitarios (HL7/FHIR, ICD, SNOMED) y las arquitecturas de datos judiciales deben incluir campos estructurados para las variables biológicas (ciclo menstrual, embarazo, menopausia) que alteran el significado clínico de cada punto de datos que contienen. En gran parte del Sur Global, la infraestructura de datos de salud aún se está construyendo: este es el momento de garantizar que se construya correctamente, con campos estratificados por sexo integrados desde el principio en lugar de modernizados. En esta sesión se tratan las normas de infraestructura de datos como una referencia reglamentaria, no como una ocurrencia técnica tardía, y participan los organismos de normalización cuyas decisiones determinan qué campos existen en los sistemas en los que se entrena la IA a nivel mundial.
C7 — Cibersalud La base empírica es más clara y está más desarrollada en la IA sanitaria. Los sistemas de IA entrenados con datos clínicos por defecto masculinos reducen la precisión del diagnóstico para las mujeres en 11,3 puntos porcentuales. Los algoritmos de predicción de enfermedades cardíacas tienen un rendimiento inferior para las mujeres, incluso en conjuntos de datos equilibrados por sexo. Las variables que faltan no son oscuras, son los campos de la etapa de vida que los registros electrónicos de salud omiten rutinariamente. En el caso de las mujeres del hemisferio sur, donde la infraestructura diagnóstica es más escasa y las herramientas clínicas de IA a menudo se importan sin validación local, estos fallos se agravan: los sistemas que funcionan mal para las mujeres en los contextos en los que se desarrollaron funcionan aún peor cuando se despliegan en diferentes poblaciones sin una auditoría desglosada por sexos. En esta sesión se abordará cómo deben ser los requisitos de datos estratificados por sexo en la IA clínica a nivel mundial, y qué debe significar la validación con respecto a los datos de las mujeres antes de que un sistema se considere apto para su implementación.
C7 — Cibergobierno Las herramientas judiciales de evaluación de riesgos, los algoritmos de elegibilidad para la asistencia social y los sistemas de asignación de asistencia social son aplicaciones de IA operadas por el gobierno que tienen consecuencias directas para la vida de las mujeres. La sobrepredicción sistemática de la reincidencia de las mujeres y la asignación diferenciada por género de los servicios de atención social documentada en investigaciones recientes reflejan la misma falla estructural que la IA de atención médica: sistemas entrenados con registros institucionales históricamente sesgados, desplegados sin validación desglosada por sexo. En todo el Sur Global, estas herramientas se utilizan cada vez más en los sistemas judiciales y de bienestar con mecanismos de supervisión limitados y barreras significativas a la impugnación legal, lo que hace que los requisitos de validación previos al despliegue sean aún más esenciales. En esta sesión se abordarán los requisitos de gobernanza de la IA en la administración pública tanto directamente como en los entornos clínicos.
C7 — Ciberempleo Las herramientas algorítmicas de contratación, gestión del rendimiento y selección de empleo aplican la IA a las decisiones del mercado laboral a escala. Cuando los datos de capacitación reflejan patrones de empleo históricamente marcados por género, estos sistemas corren el riesgo de codificar y amplificar las desigualdades existentes. En el contexto del Sur Global, donde el empleo informal y la exclusión del mercado laboral ya afectan de manera desproporcionada a las mujeres, el despliegue de la IA para el empleo sin validación desagregada por sexo añade una capa adicional de desventaja algorítmica. El marco entre dominios de esta sesión incluye explícitamente la IA de empleo, y los requisitos mínimos de la declaración marco para la validación estratificada por sexo están diseñados para aplicarse en dominios de aplicación de alto riesgo y en contextos de ingresos.
• C10 — Dimensiones éticas de la sociedad de la información. Las métricas de precisión agregada no son una norma ética suficiente para la IA de alto riesgo. Un sistema que funciona bien en promedio mientras falla sistemáticamente a las mujeres, y les falla más severamente en contextos del Sur Global donde los mecanismos de reparación son más débiles, no es un sistema de alto rendimiento. Es un sistema cuyos fallos están ocultos por las métricas utilizadas para evaluarlo. En esta sesión se replantean los informes desglosados por sexo y características interseccionales como la mínima expresión del compromiso ético con la IA, pasando de los principios a los requisitos aplicables. La declaración marco está diseñada para dar a la dimensión ética del Foro de la CMSI 2026 una forma técnica y operativa que va más allá de Ginebra.
C11 — Cooperación internacional y regional La brecha de género en materia de datos en la IA es un problema mundial con una vía de solución multilateral. Las obligaciones de la CEDAW, el Pacto Digital Global y el Diálogo Global inaugural sobre la gobernanza de la IA proporcionan marcos existentes a través de los cuales se pueden avanzar a nivel internacional los requisitos mínimos de datos estratificados por género. Las mujeres en el Sur Global se enfrentan a los efectos combinados de la escasez de datos, entornos regulatorios más débiles y el despliegue de sistemas validados en poblaciones que no las representan, lo que hace que la cooperación internacional sobre estándares mínimos no sea solo una cuestión de gobernanza, sino también un imperativo de equidad. El resultado de esta sesión está posicionado explícitamente para su presentación al proceso de Diálogo Global, y su diseño centra las voces del Sur Global como coautores de los requisitos, no como receptores de estándares desarrollados en otros lugares. El Foro de la CMSI de 2026 es el momento adecuado, y Ginebra el lugar adecuado, para garantizar que la primera generación de normas multilaterales de gobernanza de la IA se elabora para todas las mujeres, no solo para aquellas cuyos datos se han recopilado.
-
Objetivo 3: Garantizar una vida sana y promover el bienestar para todos en todas las edades
-
Objetivo 5: Lograr la igualdad entre los géneros y empoderar a todas las mujeres y niñas
-
Objetivo 8: Promover el crecimiento económico sostenido, inclusivo y sostenible, el empleo pleno y productivo y el trabajo decente para todos
-
Objetivo 10: Reducir la desigualdad en y entre los países
-
Objetivo 16: Promover sociedades pacíficas e inclusivas para el desarrollo sostenible, facilitar el acceso a la justicia para todos y crear instituciones eficaces, responsables e inclusivas a todos los niveles
-
Objetivo 17: Fortalecer los medios de ejecución y revitalizar la alianza mundial para el desarrollo sostenible
ODS 3 — Salud y bienestar La IA de atención médica es el principal dominio de evidencia de la sesión, y las fallas documentadas son fallas en los resultados de salud: precisión diagnóstica reducida, eventos cardíacos omitidos, retraso en el tratamiento y evaluaciones clínicas que difieren en función de la etiqueta de sexo del paciente en lugar de su presentación clínica. Para las mujeres del Sur Global, donde la capacidad del sistema de salud es más limitada y las herramientas clínicas de IA a menudo se importan sin validación local, estas fallas se traducen directamente en enfermedades evitables, retrasos en la atención y muertes prevenibles. El establecimiento de datos mínimos estratificados por sexo y requisitos de validación para la IA clínica es un requisito previo para que la IA contribuya al ODS 3, en lugar de socavarlo. En esta sesión se promueve ese requisito como norma de gobernanza concreta.
ODS 5 — Igualdad de género y empoderamiento de todas las mujeres y las niñas La igualdad de género es el compromiso fundamental que atraviesa cada elemento de esta sesión. Los sistemas de IA que producen resultados sistemáticamente peores para las mujeres en la atención de la salud, la justicia penal y el empleo no son herramientas neutrales: son infraestructuras que codifican y amplían la exclusión histórica. Para lograr el ODS 5 en un mundo en el que las decisiones de alto riesgo se automatizan cada vez más, es necesario que los datos que sustentan esas decisiones representen con precisión a las mujeres, que los sistemas se validen en función de los resultados de las mujeres antes de su despliegue, y que las mujeres, incluidas las mujeres del Sur Global, estén presentes como codiseñadoras de las normas que rigen estos sistemas, no solo como sujetos de sus productos. La declaración marco elaborada en esta sesión es una contribución directa a la puesta en práctica técnica del ODS 5.
ODS 8 — Trabajo decente y crecimiento económico Las consecuencias de la IA con sesgo de género van más allá de la salud y la justicia a la vida económica. Los algoritmos de selección de empleo y contratación entrenados con datos históricos del mercado laboral de género corren el riesgo de perjudicar sistemáticamente a las mujeres en el punto de acceso a un trabajo decente. Los diagnósticos erróneos y los retrasos en el tratamiento, resultados predecibles de la IA sanitaria entrenada con datos por defecto masculinos, generan costes económicos que soportan de forma desproporcionada las mujeres: pérdida de ingresos, menor participación en el mundo laboral y cargas de cuidados que recaen sobre las mujeres cuando los sistemas de salud no identifican y tratan sus afecciones con precisión. En contextos del Sur Global, donde la participación económica de las mujeres ya está limitada por barreras estructurales, estas fallas algorítmicas agravan la desventaja existente. Los requisitos de validación por estratificación por sexo para el empleo y la atención sanitaria son, por tanto, una cuestión tanto para el ODS 8 como para el ODS 5.
ODS 10 — Reducción de las desigualdades La brecha de datos de género en la IA es un mecanismo de reproducción de la desigualdad. Cuando los sistemas de IA entrenados con datos históricamente sesgados se despliegan a gran escala (en entornos clínicos, tribunales, oficinas de asistencia social y procesos de contratación), no solo reflejan las desigualdades existentes; Los institucionalizan en forma algorítmica y los aplican a una velocidad y escala que ninguna burocracia humana podría igualar. Las métricas combinadas utilizadas para evaluar estos sistemas ocultan su impacto diferencial, lo que permite que las mujeres, y en particular las mujeres en la intersección del género, la raza y la geografía, no permanezcan invisibles en los registros oficiales de desempeño. La presentación de informes desglosados por sexo y características interseccionales es el requisito técnico mínimo para hacer visible la desigualdad, y la visibilidad es el requisito previo para la rendición de cuentas. En esta sesión se promueve ese requisito como norma de gobernanza aplicable tanto en los contextos de altos ingresos como en los del Sur Global.
ODS 16 — Paz, justicia e instituciones sólidas Las herramientas judiciales de evaluación de riesgos que sobreestiman sistemáticamente la reincidencia de las mujeres, y los algoritmos de atención social que asignan menos recursos a las mujeres con las mismas necesidades que los hombres, son fracasos de las instituciones encargadas de impartir justicia y protección. Las instituciones fuertes en la era de la IA requieren que los sistemas automatizados de toma de decisiones utilizados en contextos judiciales y de administración pública se validen en función de los resultados de todas las poblaciones que gobiernan, no se optimicen para métricas de rendimiento agregadas que ocultan el fracaso de los subgrupos. En las jurisdicciones del Sur Global, donde la impugnación legal de las decisiones algorítmicas es más difícil y los mecanismos de rendición de cuentas institucionales son más débiles, el despliegue de IA de justicia no validada supone una amenaza especialmente grave para el ODS 16. Los requisitos de validación estratificados por sexo antes del despliegue son la base de una gobernanza de IA justa y responsable, y en esta sesión se avanza como tal.
ODS 17 — Alianzas para lograr los Objetivos Ningún gobierno, organismo de normalización u organización de la sociedad civil puede cerrar por sí solo la brecha de datos de género en la IA. El problema es estructural, intersectorial y global, y la solución requiere el tipo de asociación multilateral sostenida que exige el ODS 17. Esta sesión está diseñada para construir exactamente eso: reunir a organismos de normalización de datos, desarrolladores de IA, reguladores, miembros de órganos de tratados y la sociedad civil tanto del Norte Global como del Sur Global para producir una declaración marco compartida que pueda viajar a múltiples procesos de gobernanza simultáneamente. Al coincidir con el Diálogo Mundial sobre la Gobernanza de la IA inaugural, el Foro de la CMSI de 2026 es un punto de entrada único para garantizar que la primera generación de normas multilaterales de IA refleje una auténtica asociación mundial, en la que las comunidades que soportan los mayores costes de la brecha de datos de género estén presentes como artífices de la solución.
- Objetivo 1: Cerrar todas las brechas digitales y acelerar el progreso en los Objetivos de Desarrollo Sostenible
- Objetivo 2: Ampliar la inclusión y los beneficios de la economía digital para todos
- Objetivo 3: Fomentar un espacio digital inclusivo, abierto, seguro y protegido que respete, proteja y promueva los derechos humanos
- Objetivo 4: Promover enfoques de gobernanza de datos responsables, equitativos e interoperables
- Objetivo 5: Mejorar la gobernanza internacional de la inteligencia artificial en beneficio de la humanidad