Comment appliquer le NIST AI RMF à vos systèmes d'IA

Les systèmes d'IA peuvent être soumis à des exigences légales et réglementaires spécifiques applicables. Certaines exigences légales peuvent imposer (par exemple, la non-discrimination, les contrôles de confidentialité et de sécurité des données) la documentation, la divulgation et une transparence accrue du système d'IA. Ces exigences sont complexes et peuvent ne pas être applicables ou différer selon les applications et les contextes.

Les politiques, les processus et les procédures sont des composantes centrales d'une gestion des risques liés à l'IA efficace et sont fondamentaux pour la responsabilité individuelle et organisationnelle. Toutes les parties prenantes bénéficient de politiques, de processus et de procédures qui exigent la prévention des préjudices dès la conception et par défaut.

Les ressources de gestion des risques sont limitées dans toute organisation. Des politiques de gouvernance de l'IA adéquates définissent la cartographie, la mesure et la hiérarchisation des risques afin d'allouer les ressources aux enjeux les plus importants d'un système d'IA, garantissant ainsi une gestion des risques efficace. Les politiques peuvent spécifier des processus systématiques d'attribution des risques cartographiés et mesurés à des échelles de risque normalisées.

Des politiques et procédures claires relatives à la documentation et à la transparence facilitent et renforcent les efforts de communication des rôles et des responsabilités pour les fonctions de Cartographie, de Mesure et de Gestion tout au long du cycle de vie de l'IA. Une documentation normalisée peut aider les organisations à intégrer systématiquement les processus de gestion des risques liés à l'IA et à renforcer les efforts en matière de responsabilité. Par exemple, en ajoutant leurs coordonnées à un document de produit de travail, les acteurs de l'IA peuvent améliorer la communication, accroître l'appropriation des produits de travail et potentiellement renforcer la prise en compte de la qualité du produit. La documentation peut générer des avantages en aval liés à l'amélioration de la reproductibilité et de la robustesse du système. Des procédures appropriées de stockage et d'accès à la documentation permettent une récupération rapide d'informations critiques lors d'un incident négatif. Les efforts d'apprentissage automatique explicable (modèles et méthodes explicatives) peuvent renforcer les pratiques de documentation technique en introduisant des informations supplémentaires à des fins d'examen et d'interprétation par les acteurs de l'IA.

Les systèmes d'IA sont dynamiques et peuvent se comporter de manière inattendue une fois déployés ou après leur déploiement. La surveillance continue est un processus de gestion des risques permettant de suivre les problèmes inattendus et les évolutions de performance, en temps réel ou à une fréquence déterminée, tout au long du cycle de vie du système d'IA.

Un inventaire des systèmes d'IA est une base de données organisée d'artefacts relatifs à un système ou à un modèle d'IA. Il peut inclure la documentation du système, les plans de réponse aux incidents, les dictionnaires de données, les liens vers les logiciels d'implémentation ou le code source, les noms et coordonnées des acteurs de l'IA concernés, ou toute autre information pouvant être utile à des fins de maintenance du modèle ou du système et de réponse aux incidents. Les inventaires des systèmes d'IA permettent également d'obtenir une vue d'ensemble des actifs d'IA de l'organisation. Un inventaire des systèmes d'IA exploitable peut permettre la résolution rapide de :

La cessation ou la suppression irrégulière ou aveugle de modèles ou de systèmes d'IA peut s'avérer inappropriée et accroître le risque organisationnel. Par exemple, les systèmes d'IA peuvent être soumis à des exigences réglementaires ou être impliqués dans de futures enquêtes de sécurité ou judiciaires. Afin de préserver la confiance, les organisations peuvent envisager d'établir des politiques et des processus pour le démantèlement systématique et délibéré des systèmes d'IA. Généralement, de telles politiques prennent en compte les préoccupations des utilisateurs et des communautés, les risques dans les systèmes dépendants et interconnectés, ainsi que les préoccupations de sécurité, juridiques ou réglementaires. Les modèles ou systèmes démantelés peuvent être conservés dans un inventaire de modèles aux côtés des modèles actifs, pour une durée déterminée.

Le développement d'une culture organisationnelle consciente des risques commence par la définition des responsabilités. Par exemple, dans certaines structures de gestion des risques, les professionnels chargés des tâches de test et d'évaluation sont indépendants des développeurs du système d'IA et rendent compte par l'intermédiaire des fonctions de gestion des risques ou directement aux dirigeants. Ce type de structure peut contribuer à contrecarrer des biais implicites tels que la pensée de groupe ou le sophisme des coûts irrécupérables et à renforcer les fonctions de gestion des risques, de sorte que les efforts ne puissent pas être facilement contournés ou ignorés.

Afin de renforcer l'adoption et l'efficacité de la gestion des risques liés à l'IA, les organisations sont encouragées à identifier et à intégrer des programmes de formation appropriés dans les exigences d'apprentissage de l'entreprise. Grâce à une formation régulière, les acteurs de l'IA peuvent maintenir leur connaissance de :

Les cadres dirigeants et les membres de la direction générale des organisations qui gèrent un portefeuille d'IA doivent maintenir leur connaissance des risques liés à l'IA, affirmer l'appétit de l'organisation pour de tels risques et être responsables de la gestion de ces risques.

Une équipe diversifiée comprenant des acteurs de l'IA dotés d'une diversité d'expériences, de disciplines et de parcours, afin de renforcer la capacité et l'aptitude de l'organisation à anticiper les risques, est mieux outillée pour assurer la gestion des risques. La consultation de personnel externe peut s'avérer nécessaire lorsque les équipes internes ne disposent pas d'un éventail diversifié d'expériences vécues ou d'expertises disciplinaires.

L'identification et la gestion des risques et des impacts liés à l'IA sont renforcées lorsqu'un large éventail de perspectives et d'acteurs tout au long du cycle de vie de l'IA, incluant une expertise technique, juridique, en conformité, en sciences sociales et en facteurs humains, est mobilisé. Les acteurs de l'IA comprennent ceux qui exploitent, utilisent ou interagissent avec les systèmes d'IA pour des tâches en aval, ou qui surveillent la performance du système d'IA. Des efforts de gestion des risques efficaces incluent :

Une culture du risque et les pratiques qui l'accompagnent peuvent aider les organisations à trier efficacement les risques les plus critiques. Les organisations de certains secteurs mettent en œuvre trois (ou plus) « lignes de défense », où des équipes distinctes sont tenues responsables de différents aspects du cycle de vie du système, tels que le développement, la gestion des risques et l'audit. Bien qu'une approche traditionnelle à trois lignes puisse être peu pratique pour les organisations de plus petite taille, la direction peut s'engager à cultiver une solide culture du risque par d'autres moyens. Par exemple, la « contestation constructive » est une pratique fondée sur la culture qui encourage la pensée critique et la remise en question des décisions importantes de conception et de mise en œuvre par des experts dotés de l'autorité et du statut nécessaires pour opérer de tels changements.

Les analyses d'impact constituent une approche permettant de promouvoir des pratiques de développement technologique responsable. En outre, dans le cadre d'un cas d'usage spécifique, ces analyses peuvent fournir aux organisations une structure de haut niveau pour cadrer les risques d'un algorithme ou d'un déploiement donné. Les analyses d'impact peuvent également servir de mécanisme permettant aux organisations d'exprimer les risques et de générer une documentation à des fins de gestion et d'activités de supervision lorsque des préjudices surviennent.

L'identification des limites du système d'IA, la détection et le suivi des impacts négatifs et des incidents, ainsi que le partage d'informations sur ces problèmes avec les acteurs de l'IA appropriés amélioreront la gestion des risques. Des problèmes tels que la dérive conceptuelle, le biais et la discrimination liés à l'IA, l'apprentissage par raccourci ou la sous-spécification sont difficiles à identifier à l'aide des processus de test standards actuels de l'IA. Les organisations peuvent instaurer des politiques et des procédures internes d'utilisation et de test afin d'identifier et de gérer de tels problèmes. Ces efforts peuvent prendre la forme de tests pré-alpha ou pré-bêta, ou du déploiement de systèmes ou de produits développés en interne au sein de l'organisation. Les tests peuvent impliquer des bancs d'essai de systèmes d'IA internes limités et contrôlés, ou accessibles au public, ainsi que l'accessibilité des interfaces et des sorties du système d'IA.

Au-delà des tests internes et en laboratoire du système, les politiques et pratiques organisationnelles peuvent prendre en compte l'adéquation à l'usage du système d'IA au regard du contexte d'utilisation prévu.

Les politiques et procédures organisationnelles qui dotent les acteurs de l'IA des processus, des connaissances et de l'expertise nécessaires pour éclairer des décisions collaboratives concernant le déploiement du système améliorent la gestion des risques. Ces décisions sont étroitement liées aux systèmes d'IA et à la tolérance au risque de l'organisation.

La mesure et la gestion des risques peuvent être compliquées par la manière dont les clients utilisent ou intègrent des données ou des systèmes tiers dans des produits ou des services d'IA, en particulier en l'absence de structures de gouvernance internes et de garde-fous techniques suffisants.

Afin d'atténuer les préjudices potentiels des défaillances de systèmes tiers, les organisations peuvent mettre en œuvre des politiques et des procédures incluant des redondances pour couvrir les fonctions assurées par des tiers.

Des systèmes hautement précis et optimisés peuvent causer des préjudices. De manière connexe, les organisations doivent s'attendre à ce que les outils d'IA largement déployés soient réutilisés, réaffectés et potentiellement détournés, indépendamment des intentions.

Une cartographie réussie du contexte requiert une équipe d'acteurs de l'IA présentant une diversité d'expériences, d'expertises, de compétences et de parcours, et disposant des ressources et de l'indépendance nécessaires pour mener un questionnement critique.

Définir et documenter la finalité commerciale spécifique d'un système d'IA dans un contexte plus large de valeurs sociétales aide les équipes à évaluer les risques et accroît la clarté des décisions de type « go/no-go » quant à l'opportunité de procéder au déploiement.

Les risques socio-techniques de l'IA émergent de l'interaction entre les décisions de développement technique et la manière dont un système est utilisé, l'identité de ceux qui l'exploitent et le contexte social dans lequel il est déployé. La prise en compte de ces risques est complexe et exige un engagement à comprendre comment les facteurs contextuels peuvent interagir avec les actions du cycle de vie de l'IA. L'un de ces facteurs contextuels réside dans la manière dont la mission organisationnelle et la finalité identifiée du système créent, au sein des tâches de conception, de développement et de déploiement du système d'IA, des incitations susceptibles d'engendrer des impacts positifs et négatifs. En établissant une énumération exhaustive et explicite du contexte d'usage commercial et des attentes relatives aux systèmes d'IA, les organisations peuvent identifier et gérer ces types de risques.

La tolérance au risque reflète le niveau et le type de risque que l'organisation est disposée à accepter dans l'accomplissement de sa mission et la mise en œuvre de sa stratégie.

Les exigences de développement d'un système d'IA peuvent devancer les processus de documentation applicables aux logiciels traditionnels. Lorsque les exigences écrites sont indisponibles ou incomplètes, les acteurs de l'IA peuvent, par inadvertance, négliger les besoins commerciaux et ceux des parties prenantes, s'appuyer de manière excessive sur des biais humains implicites tels que le biais de confirmation et la pensée de groupe, et se concentrer exclusivement sur les exigences computationnelles.

Les acteurs de l'IA définissent la ou les tâches techniques d'apprentissage ou de prise de décision qu'un système d'IA est conçu pour accomplir, ou les bénéfices que le système apportera. Plus la définition de la tâche est claire et circonscrite, plus il est aisé d'en cartographier les bénéfices et les risques, ce qui conduit à une gestion des risques plus complète.

Un cycle de vie de l'IA comporte de nombreuses activités interdépendantes impliquant un ensemble diversifié d'acteurs qui, souvent, n'ont pas une visibilité ou un contrôle complets sur les autres parties du cycle de vie et sur les contextes ou risques qui y sont associés. Les interdépendances entre ces activités, ainsi qu'entre les acteurs de l'IA et les organisations concernés, peuvent rendre difficile l'anticipation fiable des impacts potentiels des systèmes d'IA. Par exemple, les décisions prises précocement lors de l'identification de la finalité et de l'objectif d'un système d'IA peuvent altérer son comportement et ses capacités, et la dynamique du cadre de déploiement (tels que les utilisateurs finaux ou les personnes affectées) peut façonner les impacts positifs ou négatifs des décisions du système d'IA. Par conséquent, les meilleures intentions au sein d'une dimension du cycle de vie de l'IA peuvent être compromises par les interactions avec des décisions et des conditions relevant d'autres activités ultérieures. Cette complexité et ces niveaux de visibilité variables peuvent introduire de l'incertitude. Et, une fois déployés et en usage, les systèmes d'IA peuvent parfois présenter de piètres performances, manifester des impacts négatifs imprévus, ou enfreindre des normes juridiques ou éthiques. Ces risques et incidents peuvent résulter de divers facteurs. Par exemple, les décisions en aval peuvent être influencées par une confiance excessive ou insuffisante de l'utilisateur final, ainsi que par d'autres complexités liées à la prise de décision assistée par l'IA.

Des protocoles de test et d'évaluation standardisés fournissent une base permettant de confirmer l'assurance qu'un système fonctionne tel qu'il a été conçu et tel qu'il est présenté. Les complexités des systèmes d'IA soulèvent des défis pour les méthodologies traditionnelles de test et d'évaluation, lesquelles tendent à être conçues pour évaluer la performance de systèmes statiques ou isolés. Les occasions de risque perdurent bien au-delà de la conception et du déploiement, jusqu'à l'exploitation du système et l'application des décisions rendues possibles par celui-ci. Les méthodologies et les métriques de test et d'évaluation portent donc sur un continuum d'activités. Le TEVV (test, évaluation, vérification et validation) est renforcé lorsque les métriques clés de performance, de sécurité et de fiabilité sont interprétées dans un contexte socio-technique et ne se limitent pas aux frontières du pipeline du système d'IA.

Les systèmes d'IA recèlent un potentiel considérable d'amélioration de la qualité de vie et de renforcement de la prospérité et de la sécurité économiques. Les organisations sont encouragées à définir et à documenter la finalité et l'utilité du système, ainsi que ses impacts positifs et bénéfices potentiels au-delà des référentiels de performance actuellement connus.

Anticiper les impacts négatifs des systèmes d'IA est une tâche difficile. Les impacts négatifs peuvent découler de nombreux facteurs, tels qu'un dysfonctionnement du système ou une utilisation en dehors de ses limites opérationnelles, et peuvent aller d'un désagrément mineur à des blessures graves, des pertes financières ou des actions coercitives réglementaires. Les acteurs de l'IA peuvent collaborer avec un large ensemble de parties prenantes afin d'améliorer leur capacité à comprendre les impacts potentiels des systèmes — et, par voie de conséquence, les risques associés à ceux-ci.

Les systèmes qui fonctionnent dans un périmètre restreint tendent à permettre une meilleure cartographie, mesure et gestion des risques relatifs aux tâches d'apprentissage ou de prise de décision et au contexte du système. Un périmètre d'application restreint contribue également à faciliter les fonctions de TEVV et la mobilisation des ressources connexes au sein d'une organisation.

Les configurations humain-IA peuvent s'étendre d'un mode entièrement autonome à un mode entièrement manuel. Les systèmes d'IA peuvent prendre des décisions de manière autonome, déférer la prise de décision à un expert humain, ou être utilisés par un décideur humain à titre d'avis supplémentaire. Dans certains scénarios, des professionnels dotés d'une expertise dans un domaine spécifique travaillent conjointement avec un système d'IA en vue d'un objectif final déterminé — par exemple, une décision concernant une ou plusieurs autres personnes. Selon la finalité du système, l'expert peut interagir avec le système d'IA mais participe rarement à la conception ou au développement du système lui-même. Ces experts ne sont pas nécessairement familiers de l'apprentissage automatique, de la science des données, de l'informatique ou d'autres domaines traditionnellement associés à la conception ou au développement de l'IA et — selon l'application — n'auront vraisemblablement pas besoin d'une telle familiarité. Par exemple, pour les systèmes d'IA déployés dans la prestation de soins de santé, les experts sont les médecins et apportent leur expertise en médecine — et non en science des données, en modélisation et en ingénierie des données, ou en d'autres facteurs computationnels. Le défi dans ces contextes ne consiste pas à former l'utilisateur final aux capacités du système d'IA, mais plutôt à tirer parti de l'expertise métier du praticien, sans la remplacer.

À mesure que les systèmes d'IA ont gagné en exactitude et en précision, les systèmes computationnels sont passés d'une utilisation purement dédiée à l'aide à la décision — ou à un usage explicite par un opérateur humain et sous son contrôle — à une prise de décision automatisée avec une intervention humaine limitée. Les systèmes computationnels d'aide à la décision viennent renforcer un autre système, généralement humain, dans la prise de décisions. Ce type de configurations accroît la probabilité que des résultats soient produits avec une faible implication humaine.

Les technologies et le personnel provenant de tiers constituent une autre source potentielle de risque à prendre en compte lors des activités de gestion des risques de l'IA. De tels risques peuvent être difficiles à cartographier, dans la mesure où les priorités ou les tolérances au risque peuvent différer de celles de l'organisation déployant le système.

Dans le cadre de leurs travaux, les acteurs de l'IA ont souvent recours à des technologies tierces open source, ou par ailleurs librement disponibles — dont certaines peuvent comporter des risques en matière de protection de la vie privée, de biais et de sécurité. Les organisations peuvent envisager des contrôles internes des risques pour ces sources technologiques et développer des pratiques d'évaluation du matériel provenant de tiers préalablement au déploiement.

Les acteurs de l'IA peuvent évaluer, documenter et hiérarchiser la probabilité des impacts des systèmes d'IA identifiés au point Map 5.1. Les estimations de probabilité peuvent ensuite être appréciées et évaluées en vue des décisions de type « go/no-go » concernant le déploiement d'un système d'IA. Si une organisation décide de procéder au déploiement du système, les estimations de probabilité et d'ampleur peuvent être utilisées pour affecter des ressources de TEVV appropriées au niveau de risque.

Les systèmes d'IA sont de nature socio-technique et peuvent avoir des implications positives, neutres ou négatives qui s'étendent au-delà de leur finalité déclarée. Les impacts négatifs peuvent être de grande ampleur et affecter les individus, les groupes, les communautés, les organisations et la société, ainsi que l'environnement et la sécurité nationale.

Le développement et l'utilité des systèmes d'IA dignes de confiance dépendent de la fiabilité des mesures et des évaluations des technologies sous-jacentes et de leur utilisation. Comparées aux systèmes logiciels traditionnels, les technologies d'IA introduisent de nouveaux modes de défaillance, une dépendance intrinsèque aux données et aux méthodes d'entraînement, lesquelles sont directement liées à la qualité et à la représentativité des données. En outre, les systèmes d'IA sont de nature intrinsèquement sociotechnique, ce qui signifie qu'ils sont influencés par les dynamiques sociétales et le comportement humain. Les risques – et les bénéfices – liés à l'IA peuvent émerger de l'interaction entre les aspects techniques et les facteurs sociétaux relatifs à la manière dont un système est utilisé, à ses interactions avec d'autres systèmes d'IA, à qui l'exploite, et au contexte social dans lequel il est déployé. Autrement dit, ce qui doit être mesuré dépend de la finalité, du public et des besoins des évaluations.

Différentes tâches d'IA, telles que les réseaux de neurones ou le traitement du langage naturel, tirent parti de différentes techniques d'évaluation. Le cas d'usage et les contextes particuliers dans lesquels le système d'IA est utilisé influent également sur la pertinence des techniques d'évaluation. Les évolutions des contextes opérationnels, la dérive des données et la dérive du modèle figurent parmi les facteurs qui laissent penser que le fait d'évaluer et d'actualiser régulièrement la pertinence des métriques d'IA et leur efficacité peut améliorer la fiabilité des mesures des systèmes d'IA.

Les systèmes d'IA actuels sont fragiles, leurs modes de défaillance ne sont pas bien décrits, et les systèmes sont dépendants du contexte dans lequel ils ont été développés et se transposent mal en dehors de l'environnement d'entraînement. Il sera nécessaire de s'appuyer sur des évaluations locales, ainsi que sur une surveillance continue de ces systèmes. Des mesures allant au-delà des mesures classiques (qui font la moyenne sur l'ensemble des cas de test) ou étendues afin de se concentrer sur des poches de défaillances où des coûts potentiellement significatifs existent peuvent améliorer la fiabilité des activités de gestion des risques. Les retours des communautés affectées sur la manière dont les systèmes d'IA sont utilisés peuvent donner un sens à l'évaluation de l'IA. Le fait d'impliquer des experts internes n'ayant pas participé en première ligne au développement du système et/ou des évaluateurs indépendants dans des évaluations régulières des systèmes d'IA contribue à une caractérisation complète des performances et de la fiabilité des systèmes d'IA.

La documentation des approches de mesure, des jeux de test, des métriques, des processus et des matériels utilisés, ainsi que des détails associés, jette les bases sur lesquelles construire un processus de mesure valide et fiable. La documentation permet la reproductibilité et la cohérence, et peut améliorer les décisions de gestion des risques liés à l'IA.

La mesure et l'évaluation des systèmes d'IA impliquent souvent des essais menés avec des sujets humains ou l'utilisation de données recueillies auprès de sujets humains. La protection des sujets humains est requise par la loi lors de la réalisation de recherches financées par des fonds fédéraux, et constitue une exigence propre à certaines disciplines. Les procédures standard de protection des sujets humains comprennent la protection du bien-être et des intérêts des sujets humains, la conception d'évaluations visant à minimiser les risques pour les sujets, et la réalisation d'une formation obligatoire relative aux exigences et attentes légales.

L'environnement actuel des risques et des impacts laisse penser que les estimations de performance des systèmes d'IA sont insuffisantes et nécessitent une compréhension plus approfondie du contexte d'utilisation lors du déploiement. Les schémas de test et d'évaluation des performances axés sur le calcul se limitent aux jeux de données de test et aux techniques in silico. Ces approches n'évaluent pas directement les risques et les impacts dans des environnements réels et ne peuvent que prédire ce qui pourrait produire un impact sur la base d'une approximation de l'utilisation attendue de l'IA. Pour gérer correctement les risques, des informations plus directes sont nécessaires afin de comprendre comment et dans quelles conditions l'IA déployée produit des impacts, qui est le plus susceptible d'être impacté, et à quoi ressemble cette expérience.

Les systèmes d'IA peuvent rencontrer de nouveaux problèmes et de nouveaux risques en production à mesure que l'environnement évolue dans le temps. Cet effet, souvent désigné par le terme « dérive », signifie que les systèmes d'IA ne satisfont plus aux hypothèses et aux limites de la conception initiale. Une surveillance régulière permet aux acteurs de l'IA de surveiller la fonctionnalité et le comportement du système d'IA et de ses composants – tels qu'identifiés dans la fonction MAP (cartographie) – et d'améliorer la rapidité et l'efficacité des interventions nécessaires sur le système.

Un système d'IA qui n'est pas validé ou qui échoue à la validation peut être inexact ou peu fiable, ou peut mal se généraliser à des données et à des contextes dépassant son entraînement, créant et accroissant les risques liés à l'IA et réduisant sa fiabilité. Les acteurs de l'IA peuvent améliorer la validité du système en créant des processus permettant d'explorer et de documenter les limites du système. Cela inclut une prise en compte large des finalités et des usages pour lesquels le système n'a pas été conçu.

De nombreux systèmes d'IA sont introduits dans des contextes tels que les transports, la fabrication ou la sécurité, où des défaillances peuvent donner lieu à divers préjudices physiques ou environnementaux. Les systèmes d'IA susceptibles de mettre en danger la vie humaine, la santé, les biens ou l'environnement sont testés de manière approfondie avant leur déploiement, et sont régulièrement évalués afin de confirmer que le système est sûr en fonctionnement normal, ainsi que dans des contextes dépassant son utilisation prévue et ses limites de connaissance.

Les systèmes d'IA, ainsi que les écosystèmes dans lesquels ils sont déployés, peuvent être qualifiés de résilients s'ils sont capables de résister à des événements indésirables inattendus ou à des changements inattendus de leur environnement ou de leur usage — ou s'ils peuvent maintenir leurs fonctions et leur structure face à des changements internes et externes et se dégrader de manière sûre et progressive lorsque cela est nécessaire. Les préoccupations de sécurité courantes concernent les exemples antagonistes, l'empoisonnement des données et l'exfiltration de modèles, de données d'entraînement ou d'autres éléments de propriété intellectuelle par le biais des points de terminaison du système d'IA. Les systèmes d'IA capables de maintenir la confidentialité, l'intégrité et la disponibilité au moyen de mécanismes de protection qui empêchent l'accès et l'utilisation non autorisés peuvent être qualifiés de sécurisés.

La transparence permet une visibilité significative sur l'ensemble des chaînes de traitement, des flux de travail, des processus ou des organisations liés à l'IA et réduit l'asymétrie d'information entre les développeurs et exploitants d'IA d'une part, et les autres acteurs de l'IA et les communautés impactées d'autre part. La transparence est un élément central d'une gestion des risques efficace de l'IA, qui permet de comprendre le fonctionnement d'un système d'IA et de traiter les risques dès lors qu'ils apparaissent. La possibilité, pour les utilisateurs du système, les individus ou les communautés impactées, de demander réparation face à des résultats incorrects ou problématiques d'un système d'IA constitue l'un des moyens de contrôle de la transparence et de la responsabilité. Les processus de recours de haut niveau reposent généralement sur des efforts de mise en œuvre de bas niveau consacrés aux fonctionnalités d'explicabilité et d'interprétabilité. Voir Measure 2.9.

L'explicabilité et l'interprétabilité aident les personnes qui exploitent ou supervisent un système d'IA, ainsi que les utilisateurs d'un système d'IA, à acquérir une compréhension plus approfondie de la fonctionnalité et de la fiabilité du système, y compris de ses résultats.

La confidentialité désigne de manière générale les normes et les pratiques qui contribuent à préserver l'autonomie, l'identité et la dignité humaines. Ces normes et pratiques portent généralement sur l'absence d'intrusion, la limitation de l'observation, ou la faculté des individus à consentir à la divulgation ou au contrôle de certaines facettes de leur identité (par exemple, le corps, les données, la réputation).

L'équité en matière d'IA englobe des préoccupations d'égalité et d'équité en traitant des enjeux tels que les biais préjudiciables et la discrimination. Les critères d'équité peuvent être complexes et difficiles à définir, car les perceptions de l'équité diffèrent selon les cultures et peuvent évoluer selon l'application. Les efforts de gestion des risques des organisations seront améliorés par la reconnaissance et la prise en compte de ces différences. Les systèmes dans lesquels les biais préjudiciables sont atténués ne sont pas nécessairement équitables. Par exemple, des systèmes dont les prédictions sont relativement équilibrées entre les groupes démographiques peuvent néanmoins rester inaccessibles aux personnes en situation de handicap ou affectées par la fracture numérique, ou peuvent exacerber les disparités existantes ou les biais systémiques.

Les ressources computationnelles à grande échelle et à haute performance utilisées par les systèmes d'IA pour l'entraînement et l'exploitation peuvent contribuer à des impacts environnementaux. Les impacts négatifs directs sur l'environnement résultant de ces processus sont liés à la consommation d'énergie, à la consommation d'eau et aux émissions de gaz à effet de serre (GES). L'OCDE a défini des métriques pour chaque type d'impact direct négatif.

L'élaboration de métriques est un processus souvent considéré comme objectif mais qui, en tant qu'entreprise menée par des humains et des organisations, peut refléter des biais implicites et systémiques, et peut refléter par inadvertance des facteurs sans rapport avec la fonction visée. Les approches de mesure peuvent être simplifiées à l'excès, détournées, manquer de nuances essentielles, être utilisées et invoquées de manière inattendue, ou ne pas tenir compte des différences entre les groupes affectés et les contextes.

Pour des systèmes d'IA dignes de confiance, une surveillance régulière du système est effectuée conformément aux politiques de gouvernance de l'organisation, aux rôles et responsabilités des acteurs de l'IA, et au sein d'une culture d'amélioration continue. Si et lorsque des risques émergents ou complexes apparaissent, il peut être nécessaire d'adapter les procédures internes de gestion des risques, telles que la surveillance régulière, afin de rester sur la bonne voie. La documentation, les ressources et la formation font partie d'une stratégie globale visant à soutenir les acteurs de l'IA lorsqu'ils enquêtent sur les erreurs, incidents ou impacts négatifs des systèmes d'IA et y répondent.

Les risques identifiés dans la fonction MAP (cartographie) peuvent être complexes, émerger au fil du temps, ou être difficiles à mesurer. Des méthodes systématiques de suivi des risques, y compris des approches de mesure novatrices, peuvent être établies dans le cadre des processus réguliers de surveillance et d'amélioration.

L'évaluation de l'impact est un effort à double sens. De nombreux résultats et impacts des systèmes d'IA peuvent ne pas être visibles ou reconnaissables par les acteurs de l'IA dans les dimensions de développement et de déploiement du cycle de vie de l'IA, et peuvent nécessiter un retour direct sur les résultats du système du point de vue des utilisateurs finaux et des groupes impactés.

Les acteurs de l'IA qui réalisent des tâches TEVV peuvent avoir des difficultés à évaluer les impacts dans le contexte d'utilisation du système. Les risques et les impacts des systèmes d'IA sont souvent le mieux décrits par les utilisateurs finaux et par d'autres personnes susceptibles d'être affectées par les résultats et les décisions qui en découlent. Les acteurs de l'IA peuvent recueillir les retours des individus et des communautés impactés au moyen des processus d'engagement participatif établis dans Govern 5.1 et 5.2, et mis en œuvre dans Map 1.6, 5.1 et 5.2.

Les retours recueillis auprès des acteurs de l'IA concernés peuvent être évalués en combinaison avec les résultats des mesures Measure 2.5 à 2.11 afin de déterminer si le système d'IA fonctionne dans les limites opérationnelles prédéfinies en matière de validité et de fiabilité, de sûreté, de sécurité et de résilience, de confidentialité, de biais et d'équité, d'explicabilité et d'interprétabilité, ainsi que de transparence et de responsabilité. Ces retours apportent une strate supplémentaire d'éclairage sur les performances du système d'IA, y compris une éventuelle mauvaise utilisation ou réutilisation en dehors des contextes prévus.

Les activités TEVV menées tout au long du cycle de vie du système d'IA peuvent fournir des mesures quantitatives de référence pour les caractéristiques dignes de confiance. Combinées aux résultats des mesures Measure 2.5 à 2.11 ainsi que Measure 4.1 et 4.2, les acteurs TEVV peuvent maintenir une vue d'ensemble des performances du système. Ces mesures peuvent être enrichies par un engagement participatif avec les communautés potentiellement impactées ou par d'autres formes de recueil des retours des parties prenantes sur les impacts des systèmes d'IA. Ces sources d'information peuvent permettre aux acteurs de l'IA d'explorer d'éventuels ajustements des composants du système, d'adapter les conditions d'exploitation, ou de mettre en place des améliorations des performances.

Les systèmes d'IA ne constituent pas nécessairement la solution appropriée à une tâche ou à un problème métier donné. Une pratique courante de gestion des risques consiste à mettre formellement en balance les risques négatifs d'un système d'IA et ses bénéfices, et à déterminer si le système d'IA représente une solution appropriée. Les arbitrages entre les caractéristiques de fiabilité — par exemple, la décision de déployer un système en fonction de ses performances ou de sa transparence — peuvent nécessiter une évaluation régulière tout au long du cycle de vie de l'IA.

Le risque désigne la mesure composite de la probabilité de survenue d'un événement et de l'ampleur (ou du degré) des conséquences des événements correspondants. Les impacts, ou conséquences, des systèmes d'IA peuvent être positifs, négatifs, ou les deux, et peuvent se traduire par des opportunités ou par des risques.

Les résultats de GOVERN-1, MAP-5 et MEASURE-2 peuvent être utilisés pour traiter et documenter les risques identifiés en fonction des seuils de tolérance au risque établis. Les organisations peuvent suivre les réglementations et lignes directrices existantes relatives aux critères, aux seuils de tolérance et aux réponses en matière de risque, établis par des exigences organisationnelles, propres à un domaine, à une discipline, à un secteur ou à une profession. À défaut de telles orientations, les organisations peuvent élaborer des plans de réponse aux risques fondés sur des stratégies telles que la gestion reconnue du risque de modèle, la gestion des risques d'entreprise, ainsi que les pratiques de partage et de divulgation de l'information.

Les organisations peuvent choisir d'accepter ou de transférer une partie des risques documentés issus de MAP et de MANAGE 1.3 et 2.1. De tels risques, appelés risques résiduels, peuvent affecter les acteurs de l'IA situés en aval, tels que ceux engagés dans l'acquisition ou l'utilisation du système. Le suivi et la gestion transparents des risques résiduels permettent une analyse coûts-bénéfices ainsi que l'examen des valeurs potentielles des systèmes d'IA au regard de leurs impacts négatifs potentiels.

La réponse au risque à l'échelle de l'organisation peut impliquer d'identifier et d'analyser des approches, méthodes, processus ou systèmes alternatifs, et d'équilibrer les arbitrages entre les caractéristiques de fiabilité et la manière dont elles se rapportent aux principes de l'organisation et aux valeurs sociétales. L'analyse de ces arbitrages s'appuie sur la consultation d'équipes organisationnelles interdisciplinaires et d'experts indépendants du domaine, ainsi que sur la mobilisation de personnes ou de groupes communautaires. Ces processus nécessitent une allocation de ressources suffisante.

Les performances et la fiabilité d'un système peuvent évoluer et se modifier au fil du temps, une fois le système d'IA déployé et mis en exploitation. Ce phénomène, généralement connu sous le nom de dérive, peut dégrader la valeur du système d'IA pour l'organisation et accroître la probabilité d'impacts négatifs. Le suivi régulier des performances et de la fiabilité des systèmes d'IA renforce la capacité des organisations à détecter la dérive et à y répondre, et ainsi à maintenir la valeur d'un système d'IA une fois déployé. Les processus et mécanismes de suivi régulier portent sur la fonctionnalité et le comportement du système, ainsi que sur les impacts et l'alignement avec les valeurs et les normes propres au contexte d'utilisation spécifique. Par exemple, les considérations relatives aux impacts sur la sécurité personnelle ou publique ou sur la vie privée peuvent inclure la limitation des vitesses élevées lors de l'exploitation de véhicules autonomes ou la restriction des recommandations de contenus illicites destinés aux mineurs.

Les systèmes d'IA — comme toute technologie — peuvent présenter un dysfonctionnement, une défaillance ou un comportement inattendu et inhabituel. Ils peuvent également faire l'objet d'attaques, d'incidents, ou d'autres formes de mauvais usage ou d'abus, dont les sources ne sont pas toujours connues a priori. Les organisations peuvent établir, documenter, communiquer et maintenir des procédures de traitement afin de reconnaître et de contrer, d'atténuer et de gérer les risques qui n'avaient pas été précédemment identifiés.

Des performances non conformes à l'utilisation prévue n'accroissent pas toujours le risque ni ne conduisent à des impacts négatifs. Des pratiques rigoureuses de TEVV sont utiles pour se prémunir contre les impacts négatifs, indépendamment de l'utilisation prévue. Lorsque des impacts négatifs surviennent, il peut être nécessaire de contourner, de désengager, ou de désactiver/mettre hors service un modèle, un ou plusieurs composants d'un système d'IA, ou l'ensemble du système d'IA, notamment lorsque :

Les systèmes d'IA peuvent dépendre de ressources externes et des processus qui leur sont associés, y compris des données, des logiciels ou des systèmes matériels de tiers. Le fait que des tiers fournissent aux organisations des composants et des services, notamment des outils, des logiciels et une expertise pour la conception, le développement, le déploiement ou l'utilisation de systèmes d'IA, peut améliorer l'efficacité et la capacité de montée en charge. Cela peut également accroître la complexité et l'opacité, et, par conséquent, le risque. La documentation des technologies, du personnel et des ressources de tiers ayant été employés peut contribuer à gérer les risques. Il est recommandé de se concentrer avant tout sur les risques touchant à la sécurité physique, aux responsabilités juridiques, à la conformité réglementaire et aux impacts négatifs sur les individus, les groupes ou la société.

Une approche courante dans le développement de l'IA est l'apprentissage par transfert, par lequel un modèle pré-entraîné existant est adapté en vue d'une utilisation dans une application différente, mais connexe. Les acteurs de l'IA affectés à des tâches de développement utilisent souvent des modèles pré-entraînés provenant d'entités tierces pour des tâches telles que la classification d'images, la prédiction linguistique et la reconnaissance d'entités, car les ressources nécessaires à la construction de tels modèles ne sont pas toujours aisément disponibles pour la plupart des organisations. Les modèles pré-entraînés sont généralement entraînés pour traiter divers problèmes de classification ou de prédiction, en utilisant des jeux de données extrêmement volumineux et des ressources exigeantes en calcul. L'utilisation de modèles pré-entraînés peut rendre difficile l'anticipation des résultats ou des impacts négatifs du système. L'absence d'outils de documentation ou de transparence accroît la difficulté et la complexité générale lors du déploiement de modèles pré-entraînés et entrave les analyses des causes profondes.

Les performances et la fiabilité d'un système d'IA peuvent évoluer en raison de divers facteurs. Le suivi régulier des systèmes d'IA peut aider les déployeurs à identifier les dégradations de performances, les attaques adverses, les comportements inattendus et inhabituels, les quasi-incidents et les impacts. L'intégration de retours externes, avant et après le déploiement, concernant les performances du système d'IA peut renforcer la connaissance qu'a l'organisation des impacts positifs et négatifs, et réduire le délai de réponse aux risques et aux préjudices.

Les processus de suivi régulier permettent des mises à jour du système afin d'en améliorer les performances et la fonctionnalité conformément aux cadres réglementaires et juridiques, ainsi qu'aux valeurs et normes organisationnelles et contextuelles. Ces processus facilitent également les analyses des causes profondes, de la dégradation du système, de la dérive, des quasi-incidents et des défaillances, ainsi que la réponse aux incidents et leur documentation.

La documentation régulière d'un compte rendu exact et transparent des erreurs identifiées et signalées peut renforcer les activités de gestion des risques liés à l'IA. En voici des exemples :