¿Quién certifica la IA que se mueve entre nosotros? Creación de garantías de seguridad independientes para la IA en el mundo físico
IA responsable para la seguridad y la ética (RAISE)
Sesión 208
Hacia un marco prenormativo para la certificación de sistemas de IA autónomos y ciberfísicos que funcionan en entornos civiles
Antecedentes.
La inteligencia artificial ya no se limita a las pantallas y los centros de datos. Ahora vuela drones sobre áreas habitadas, conduce robots terrestres a través de hospitales, aeropuertos y calles de la ciudad, y opera sistemas de asistencia y quirúrgicos, tomando decisiones que actúan directamente sobre el mundo físico, a menudo en presencia de civiles que nunca consintieron estar cerca de ellos. Sin embargo, mientras que la aviación, la energía nuclear y el ferrocarril se basan en regímenes de certificación de seguridad maduros e independientes, ningún organismo equivalente certifica la seguridad de los sistemas de IA que actúan en entornos físicos abiertos. Considere una pregunta simple: ¿quién certifica que un robot de reparto autónomo, o un dron de inspección que vuela por encima de una multitud, es seguro para las personas que lo rodean? Hoy no hay una respuesta clara. La Ley Europea de IA aborda la gobernanza y la clasificación de riesgos; están surgiendo normas ISO/CEI; La EASA ha comenzado a trabajar en el sector de la aviación. Pero el caso general, una IA que toma decisiones físicas consecuentes entre las personas, se encuentra entre los mandatos existentes. Se trata de una brecha estructural en la arquitectura digital mundial que el propio marco de la CMSI aún no ha mencionado.
Práctica pertinente y precedentes.
En lugar de reclamar éxitos prematuros, esta sesión basa su caso en la práctica adyacente probada. La industria marítima separó el asegurador del certificador en 1834, reconociendo que no se puede juzgar imparcialmente la seguridad de lo que uno tiene interés en desplegar, el principio fundacional de la garantía independiente de terceros que más tarde construyó la certificación moderna de software de aviación y seguridad crítica. Más concretamente, la metodología SORA de la AESA ya muestra cómo evaluar el riesgo operativo que supone un dron para las personas sobre el terreno. Por consiguiente, existen métodos para evaluar la seguridad de un sistema autónomo que funciona entre personas; Lo que falta es el hogar institucional para aplicarlos en el caso ciberfísico general. La sesión se basa en décadas de certificación de software crítico para la seguridad para que este punto sea preciso y creíble.
Perspectiva para la CMSI+20 y más allá.
A medida que el examen de la CMSI+20 hace balance de veinte años de creación de confianza en las TIC, la IA que actúa en el mundo físico es la frontera en la que hay que ganarse la "confianza y la seguridad". Esta sesión ofrece a los responsables políticos, los organismos reguladores y la sociedad civil un vocabulario común para una brecha que la mayoría ha detectado pero pocos han identificado, y pide un esfuerzo independiente y prenormativo —con sede en Ginebra, en el corazón del sistema multilateral— para definir criterios de seguridad para la IA en el mundo real. Invita a los gobiernos, a los organismos de normalización, a la industria y a la sociedad civil a contribuir a su creación.
**Los panelistas serán actualizados.**
-
C5. Crear confianza y seguridad en la utilización de las TIC
-
C7. Aplicaciones de las TIC: ventajas en todos los aspectos de la vida — Cibersalud
-
C10. Dimensiones éticas de la sociedad de la información
La sesión se refiere directamente a la Línea de Acción C5. Durante dos décadas, "la confianza y la seguridad en la utilización de las TIC" han significado en gran medida la ciberseguridad, es decir, la protección de datos y redes. A medida que la IA comienza a actuar físicamente entre las personas, C5 debe extenderse a la seguridad en el sentido de ingeniería, es decir, garantizar que un sistema autónomo no dañará a quienes lo rodean. Esta es la mitad no direccionada de C5. En la sesión también participan el C7 (cibersalud), en el que robots médicos autónomos y de asistencia ya operan en torno a los pacientes y alrededor de ellos, y el C10, ya que la certificación independiente es la forma institucional que deben adoptar los principios éticos para ser exigibles en lugar de meramente declaratorios.
-
Objetivo 3: Garantizar una vida sana y promover el bienestar para todos en todas las edades
-
Objetivo 9: Construir infraestructuras resilientes, promover la industrialización inclusiva y sostenible y fomentar la innovación
-
Objetivo 11: Conseguir que las ciudades y los asentamientos humanos sean inclusivos, seguros, resilientes y sostenibles
-
Objetivo 16: Promover sociedades pacíficas e inclusivas para el desarrollo sostenible, facilitar el acceso a la justicia para todos y crear instituciones eficaces, responsables e inclusivas a todos los niveles
La sesión contribuye más directamente al ODS 9: la IA segura y certificable es una condición previa para una infraestructura resiliente y para la innovación que gana la confianza pública en lugar de erosionarla. Apoya el ODS 3 siempre que los sistemas autónomos actúen en la atención sanitaria, el ODS 11 donde los drones y los robots operen en un espacio urbano compartido, y el ODS 16 a través de su propuesta principal: una institución independiente y responsable para garantizar la seguridad, un ejemplo de las instituciones eficaces y dignas de confianza que exige el objetivo.
- Objetivo 3: Fomentar un espacio digital inclusivo, abierto, seguro y protegido que respete, proteja y promueva los derechos humanos
- Objetivo 5: Mejorar la gobernanza internacional de la inteligencia artificial en beneficio de la humanidad