Qui certifie l’IA qui se déplace parmi nous ? Instaurer des garanties de sécurité indépendantes pour l’IA dans le monde physique
IA responsable pour la sécurité et l’éthique (RAISE)
Session 208
Vers un cadre prénormatif pour certifier les systèmes autonomes et cyberphysiques d’IA fonctionnant dans des environnements civils
Contexte.
L’intelligence artificielle n’est plus cantonnée aux écrans et aux data centres. Il fait maintenant voler des drones au-dessus de zones habitées, conduit des robots terrestres dans les hôpitaux, les aéroports et les rues des villes, et exploite des systèmes d’assistance et de chirurgie – prenant des décisions qui agissent directement sur le monde physique, souvent en présence de civils qui n’ont jamais consenti à être près d’eux. Pourtant, alors que l’aviation, l’énergie nucléaire et le rail reposent chacun sur des régimes de certification de sécurité matures et indépendants, aucun organisme équivalent ne certifie la sécurité des systèmes d’IA agissant dans des environnements physiques ouverts. Prenons une question simple : qui certifie qu’un robot de livraison autonome, ou un drone d’inspection volant au-dessus d’une foule, est sans danger pour les personnes qui l’entourent ? Aujourd’hui, il n’y a pas de réponse claire. La loi européenne sur l’IA traite de la gouvernance et de la classification des risques ; Des normes ISO/CEI voient le jour ; L’AESA a commencé à travailler pour l’aviation. Mais le cas général – une IA prenant des décisions physiques conséquentes entre les gens – se situe entre les mandats existants. Il s’agit d’une lacune structurelle dans l’architecture numérique mondiale, que le cadre du SMSI lui-même ne nomme pas encore.
Pratiques pertinentes et précédents.
Plutôt que de revendiquer des succès prématurés, cette session fonde son argumentation sur une pratique adjacente éprouvée. L’industrie maritime a séparé l’assureur du certificateur en 1834, reconnaissant que l’on ne peut pas juger impartialement de la sécurité de ce que l’on a intérêt à déployer - le principe fondateur de l’assurance indépendante par une tierce partie qui a ensuite construit la certification des logiciels modernes de l’aviation et de la sécurité. Plus concrètement, la méthodologie SORA de l’AESA montre déjà comment évaluer le risque opérationnel qu’un drone représente pour les personnes au sol. Il existe donc des méthodes permettant d’évaluer la sécurité d’un système autonome fonctionnant parmi des personnes ; ce qui manque, c’est le cadre institutionnel pour les appliquer à l’ensemble du cas cyberphysique général. La session s’appuie sur des décennies de certification de logiciels critiques pour la sécurité pour rendre ce point précis et crédible.
Vision à l’horizon du SMSI+20 et au-delà.
Alors que l’examen du SMSI+20 fait le bilan de vingt années passées à instaurer la confiance dans les TIC, l’action de l’IA dans le monde physique est la frontière où « la confiance et la sécurité » doivent désormais être gagnées. Cette session offre aux décideurs, aux régulateurs et à la société civile un vocabulaire commun pour une lacune que la plupart ont pressentie mais que peu ont nommée, et appelle à un effort indépendant et prénormatif – basé à Genève, au cœur du système multilatéral – pour définir des critères de sécurité pour l’IA dans le monde réel. Il invite les gouvernements, les organismes de normalisation, l’industrie et la société civile à participer à son édification.
-
C5. Etablir la confiance et la sécurité dans l'utilisation des TIC
-
C7. Les applications TIC et leur apport dans tous les domaines — Télésanté
-
C10. Dimensions éthiques de la société de l'information
La séance est directement liée à la grande orientation C5. Pendant deux décennies, « la confiance et la sécurité dans l’utilisation des TIC » ont été pour l’essentiel synonymes de cybersécurité, c’est-à-dire de protection des données et des réseaux. Alors que l’IA commence à agir physiquement parmi les personnes, C5 doit s’étendre à la sécurité au sens de l’ingénierie : garantir qu’un système autonome ne nuira pas à ceux qui l’entourent. C’est la moitié non adressée de C5. La session s’intéresse également au C7 (Cybersanté), où des robots médicaux autonomes et d’assistance fonctionnent déjà sur et autour des patients, et au C10, car la certification indépendante est la forme institutionnelle que doivent prendre les principes éthiques pour devenir exécutoires plutôt que simplement déclaratoires.
-
Objectif 3: Permettre à tous de vivre en bonne santé et promouvoir le bien-être de tous à tout âge
-
Objectif 9: Bâtir une infrastructure résiliente, promouvoir une industrialisation durable et encourager l’innovation
-
Objectif 11: Faire en sorte que les villes et les établissements humains soient ouverts à tous, sûrs, résilients et durables
-
Objectif 16: Promouvoir l’avènement de sociétés pacifiques, l’accès de tous à la justice et des institutions efficaces
La session contribue le plus directement à l’ODD 9 : une IA sûre et certifiable est une condition préalable à la résilience des infrastructures et à l’innovation, qui gagne la confiance du public plutôt que de l’éroder. Il soutient l’ODD 3 où les systèmes autonomes interviennent dans les soins de santé, l’ODD 11 où les drones et les robots fonctionnent dans un espace urbain partagé, et l’ODD 16 avec sa proposition centrale – une institution indépendante et responsable pour l’assurance de la sécurité, un exemple des institutions efficaces et dignes de confiance que cet objectif exige.
- Objectif 3 : Favoriser un espace numérique inclusif, ouvert, sûr et sécurisé qui respecte, protège et promeut les droits de l'homme
- Objectif 5 : Améliorer la gouvernance internationale de l'intelligence artificielle au bénéfice de l'humanité