Systèmes d’intelligence artificielle accessibles et équitables - Guide technique

Normes d’accessibilité Canada élabore des normes et des orientations en matière d’accessibilité fondées sur l’équité. Normes d’accessibilité Canada vise à créer des normes inclusives qui peuvent avoir une incidence sur toutes les personnes en situation de handicap, tout en reconnaissant leur intersectionnalité et leur expertise. Normes d’accessibilité Canada partage ce guide technique afin que les organisations puissent commencer à mettre en œuvre cette orientation dans leur travail pendant qu’une norme dans ce domaine est en cours d’élaboration. Ce guide technique se concentre sur les domaines dans lesquels les personnes en situation de handicap peuvent rencontrer des obstacles à une participation accessible pour la conception, l’élaboration et l’utilisation des systèmes d’intelligence artificielle (IA) et à un traitement équitable par les systèmes d’IA. L’équité renvoie à l’impartialité, à la justice et à l’absence de discrimination. L’équité reconnaît que chaque personne se trouve dans une situation différente et s’attache à permettre à toutes les personnes d’obtenir les mêmes résultats.

Les personnes en situation de handicap sont confrontées aux extrêmes des possibilités et des risques liés au déploiement de l’IA. Ce guide propose des conseils et des directives qui soutiennent les pratiques éthiques lors de la mise en œuvre de l’IA, ce qui inclut des conseils proactifs pour prévenir les préjudices dont les personnes en situation de handicap sont la cible dans les applications émergentes de l’IA.

Ce guide aborde les domaines suivants : l’IA accessible, l’IA équitable, les processus organisationnels visant à soutenir l’IA accessible et équitable, ainsi que l’éducation et la formation accessibles.

2.1 Destinataires

Ce guide technique est destiné à tous les ministères, organismes et entités sous réglementation fédérale du gouvernement du Canada ainsi qu’à toute personne souhaitant obtenir des conseils pour améliorer l’accessibilité dans ce domaine.

 Les obstacles à l’accessibilité peuvent avoir un impact sur toutes les personnes au Canada, en particulier les personnes en situation de handicap et leur famille, et peuvent empêcher ces dernières de participer de manière pleine et égale à la société. L’élimination proactive des obstacles et l’amélioration de l’accessibilité présentent des avantages qui ne peuvent être réalisés qu’une fois mise en œuvre. Cependant, les organismes ont besoin d’aide pour entamer leur parcours vers l’accessibilité. La mise à disposition de conseils appropriés contribuera à éclairer leurs décisions et la planification de l’accessibilité. Les orientations fournies dans la section 4 soutiennent les objectifs de la Loi canadienne sur l’accessibilité et doivent être utilisées en conjonction avec d’autres lignes directrices et directives relatives à l’intelligence artificielle. Il s’agit notamment de la Directive sur la prise de décisions automatisée et de l’évaluation de l’incidence connexe.

3.1 Loi canadienne sur l’accessibilité

La Loi canadienne sur l’accessibilité permet de manière proactive de recenser, de supprimer et de prévenir les obstacles à l’accessibilité partout où la population canadienne a besoin de services de compétence fédérale. Elle met en place des mécanismes permettant d’aborder systématiquement la question de l’accessibilité. La Loi canadienne sur l’accessibilité vise à faire du Canada un pays exempt d’obstacles d’ici 2040. Il s’agit de recenser, de supprimer et de prévenir les obstacles relevant de la compétence fédérale dans les domaines prioritaires suivants :

• l’emploi;
• l’environnement bâti (édifices et espaces publics);
• les technologies de l’information et de la communication;
• la communication, autre que les technologies de l’information et de la communication;
• l’acquisition de biens, de services et d’installations;
• la conception et la prestation de programmes et de services;
• les transports (compagnies aériennes, ainsi que les fournisseurs de transport ferroviaire, routier et maritime qui traversent les frontières provinciales ou internationales).

3.2 Consultations sur la Loi canadienne sur l’accessibilité

Afin d’éclairer l’élaboration de la Loi canadienne sur l’accessibilité, le gouvernement du Canada a entrepris en 2016-2017 la consultation la plus vaste et la plus accessible sur les questions concernant les personnes en situation de handicap que le Canada n’ait jamais connues. Plus de 6 000 Canadiens et Canadiennes et plus de 90 organismes ont fait part d’idées sur un Canada accessible. Les participants souhaitent que la législation s’applique à tous les domaines relevant du gouvernement du Canada et que le Canada devienne un chef de file en matière d’accessibilité. Tout en reconnaissant que l’élaboration et la mise en œuvre de certaines normes prendront plus de temps que d’autres, les participants ont noté que les orientations devraient être claires et que toute exigence en matière d’accessibilité devrait mener à des changements positifs durables.

Le principe « rien sans nous » signifie que les personnes en situation de handicap participent à la détection, à la prévention et à l’élimination des obstacles. Cela signifie également qu’il faut consulter les personnes en situation de handicap, les diverses communautés de personnes en situation de handicap et d’autres experts et travailler en étroite collaboration avec eux pour élaborer des orientations en matière d’accessibilité afin d’éliminer les obstacles. Le principe « rien sans nous » est à la base de tout ce que nous faisons aux Normes d’accessibilité Canada, y compris le fait de s’appuyer sur les connaissances et l’expérience des personnes en situation de handicap pour définir des orientations en matière d’accessibilité.

3.3 Principes clés de la Loi canadienne sur l’accessibilité

La loi doit être mise en œuvre en tenant compte des principes suivants et conformément à ceux-ci :

• le droit de toute personne à être traitée avec dignité;
• le droit de toute personne à l’égalité des chances d’épanouissement;
• le droit de pouvoir participer pleinement et de manière égale à la vie de la société;
• le droit de toute personne d’avoir concrètement la possibilité de prendre des décisions pour elle-même, avec ou sans aide;
• le fait que les lois, les politiques, les programmes, les services et les structures doivent tenir compte de la manière dont les différents types d’obstacles et de discriminations se croisent;
• le fait que les personnes en situation de handicap doivent participer à l’élaboration et à la conception des lois, des politiques, des programmes, des services et des structures;
• des normes d’accessibilité et des règlements doivent être créés dans l’objectif d’atteindre le niveau d’accessibilité le plus élevé qui soit.

3.4 La Convention relative aux droits des personnes handicapées des Nations Unies

Le Canada a adhéré à la Convention relative aux droits des personnes handicapées des Nations Unies (CDPH) en 2010. La Convention protège et promeut les droits et la dignité des personnes en situation de handicap sans discrimination et sur la base de l’égalité avec les autres. Les signataires de la CDPH doivent promouvoir et assurer la jouissance pleine et entière des droits des personnes en situation de handicap, y compris leur pleine égalité devant la loi. La CDPH a servi de catalyseur majeur dans le mouvement mondial visant à traiter les personnes en situation de handicap comme des membres à part entière et égaux de la société. L’approche des droits de la personne a permis de s’éloigner d’une perception des personnes en situation de handicap comme des sujets de charité, de traitements médicaux et de protection sociale. La Convention relative aux droits des personnes handicapées des Nations Unies, la Charte canadienne des droits et libertés et la Loi canadienne sur les droits de la personne sont les cadres fondamentaux des droits de la personne qui soutiennent l’équité et sur lesquels la Loi canadienne sur l’accessibilité a été élaborée.

4.1 L’IA accessible

Les systèmes d’IA ainsi que les processus, les ressources, les services et les outils utilisés pour les planifier, les créer, les mettre en œuvre, les entretenir et les contrôler doivent être accessibles aux personnes en situation de handicap. Les personnes en situation de handicap et les utilisateurs de systèmes d’IA devraient pouvoir participer activement à tous les rôles des parties prenantes dans le cycle de vie de l’IA.

Si les personnes en situation de handicap n’ont pas la possibilité de participer à tous les rôles de l’écosystème de l’IA, leur point de vue ne sera pas pris en compte dans les décisions essentielles. La participation des personnes en situation de handicap à ces rôles se traduira par une accessibilité et une équité systémiques accrues. L’intégration des diverses perspectives des personnes en situation de handicap dans ces rôles favorisera également l’innovation, la détection et l’évitement des risques.

4.1.1 Les personnes en situation de handicap participent pleinement à la création et au déploiement de l’IA

Les personnes en situation de handicap devraient pouvoir participer pleinement à tous les rôles des parties prenantes dans le cycle de vie de l’IA. Ces rôles sont les suivants :

• Planificateurs
• Concepteurs
• Développeurs
• Responsables de la mise en œuvre
• Évaluateurs
• Responsables du perfectionnement
• Consommateurs de systèmes d’IA et de leurs composants

Pour assurer une pleine participation au cycle de vie de l’IA, les outils de conception et de développement, les processus et les ressources utilisés par un organisme qui conçoit, développe, met en œuvre, évalue ou perfectionne l’IA doivent être accessibles aux personnes en situation de handicap.

Les personnes en situation de handicap devraient pouvoir participer au cycle de vie de l’IA en tant que producteurs et créateurs, et non seulement en tant que consommateurs de produits d’IA. L'accessibilité de tous les aspects des écosystèmes d’IA favorisera la participation des personnes en situation de handicap à la prise de décision liée à la création de l’IA. Les systèmes d’IA accessibles permettront également aux personnes en situation de handicap de profiter d’avantages économiques grâce aux possibilités d’emploi liées à l’IA.

Pour se conformer aux orientations, commencer par :

• Utiliser des outils et des processus accessibles pour concevoir et développer des systèmes d’intelligence artificielle et leurs composants. Les outils doivent être conformes aux déclarations de performances fonctionnelles figurant à la section 4.2 de CAN/ASC - EN 301 549:2024 - Norme d’exigences d’accessibilité pour les produits et services TIC. En particulier :
  • 5. Exigences génériques
  • 9. Web
  • 10. Documents non destinés au Web
  • 11. Logiciel
  • 12. Documentation et services d’assistance
• Utiliser des outils et des ressources accessibles pour mettre en œuvre les systèmes d’IA là où ils sont déployés – y compris les outils et les ressources utilisés pour personnaliser les modèles préalablement entraînés, former les modèles et mettre en place, entretenir et surveiller les systèmes d’IA. Les outils doivent être conformes aux déclarations de performances fonctionnelles figurant à la section 4.2 de CAN/ASC - EN 301 549:2024 - Norme d’exigences d’accessibilité pour les produits et services TIC. En particulier :
  • 5. Exigences génériques
  • 9. Web
  • 10. Documents non destinés au Web
  • 11. Logiciel
  • 12. Documentation et services d’assistance
• Utiliser des outils et des processus de déploiement accessibles pour évaluer, surveiller, signaler les problèmes, évaluer et améliorer les systèmes d’intelligence artificielle. Les outils doivent être conformes aux déclarations de performances fonctionnelles figurant à la section 4.2 de CAN/ASC - EN 301 549:2024 - Norme d’exigences d’accessibilité pour les produits et services TIC. En particulier :
  • 5. Exigences génériques
  • 9. Web
  • 10. Documents non destinés au Web
  • 11. Logiciel
  • 12. Documentation et services d’assistance

4.1.2 Personnes en situation de handicap en tant qu’utilisateurs de systèmes d’intelligence artificielle

Les systèmes d’IA doivent être accessibles aux personnes en situation de handicap. L’utilisation et l’intégration d’outils d’intelligence artificielle se généralisent. Si ces outils ne sont pas conçus pour être accessibles, les personnes en situation de handicap ne pourront pas les utiliser, ce qui aggravera l’exclusion numérique.

Pour se conformer aux orientations, commencer par :

• Utiliser des systèmes d’IA avec des interfaces utilisateur et des interactions accessibles. Les interfaces utilisateurs doivent être conformes aux déclarations de performances fonctionnelles figurant à la section 4.2 de CAN/ASC - EN 301 549:2024 - Norme d’exigences d’accessibilité pour les produits et services TIC. En particulier :
  • 5. Exigences génériques
  • 9. Web
  • 10. Documents non destinés au Web
  • 11. Logiciel
  • 12. Documentation et services d’assistance
• Assurer l'accessibilité des documents sur la divulgation, l'annonce, la transparence, l’explicabilité et la contestabilité des systèmes d’IA, ainsi que sur leur fonction, leurs mécanismes de prise de décision, leurs risques potentiels et leur mise en œuvre. Les documents doivent être tenus à jour et concorder avec l’IA actuellement utilisée. Les renseignements doivent être conformes aux déclarations de performances fonctionnelles figurant à la section 4.2 de CAN/ASC - EN 301 549:2024 - Norme d’exigences d’accessibilité pour les produits et services TIC. En particulier :
  • 5. Exigences génériques
  • 9. Web
  • 10. Documents non destinés au Web
  • 11. Logiciel
  • 12. Documentation et services d’assistance
• Fournir des mécanismes de rétroaction accessibles aux personnes qui utilisent ou sont touchées par les systèmes d’IA. Les mécanismes de rétroaction doivent être conformes aux déclarations de performances fonctionnelles figurant à la section 4.2 de CAN/ASC - EN 301 549:2024 - Norme d’exigences d’accessibilité pour les produits et services TIC. En particulier :
  • 5. Exigences génériques
  • 9. Web
  • 10. Documents non destinés au Web
  • 11. Logiciel
  • 12. Documentation et services d’assistance
• Fournir des options de rechange lorsque la technologie d’assistance qui s’appuie sur l’IA est fournie comme mesure d’adaptation et que les données à reconnaître ou à traduire sont aberrantes, ce qui compromet les performances. Par exemple, les systèmes de reconnaissance vocale ne fonctionneront pas aussi bien pour les personnes dont le discours est très différent des données d’apprentissage.

4.2 IA équitable

Lorsque des personnes en situation de handicap font l’objet de décisions prises par des systèmes d’IA ou lorsque des systèmes d’IA sont utilisés pour prendre des décisions qui ont des répercussions sur les personnes en situation de handicap, ces décisions et ces utilisations doivent se traduire par un traitement équitable des personnes en situation de handicap.

En raison de leur diversité, les personnes en situation de handicap sont confrontées aux extrêmes des possibilités et des risques associés aux systèmes d’IA. En plus des risques spécifiques en matière d’équité auxquels sont exposés d’autres groupes protégés, comme le manque de données représentatives et la conception de systèmes d’intelligence artificielle biaisés, les personnes en situation de handicap sont touchées par la discrimination statistique.

4.2.1 Discrimination statistique

Les systèmes d’IA en cours de développement ou d’utilisation doivent être évalués et contrôlés afin de déterminer les performances et les répercussions des décisions pour l’ensemble des écarts types par rapport à la moyenne statistique ou aux optima cibles.

Même avec une représentation proportionnelle totale dans les données, la discrimination statistique continuera de toucher les personnes en situation de handicap parce qu’elles sont souvent minoritaires ou s’écartent fortement de la moyenne statistique. La conséquence de cette discrimination est que les prédictions d’un système d’IA sont erronées ou excluent les personnes en situation de handicap.

Pour se conformer aux orientations, commencer par :

• Utiliser des évaluations de l’incidence pour déterminer comment la discrimination statistique touche les personnes en situation de handicap et documenter les résultats. Ces conclusions sont rendues publiques dans un format accessible et font l’objet d’un réexamen et d’un suivi continu.
• Donner la priorité à l’évaluation des risques pour les petites minorités lorsque des cadres d’évaluation des risques sont utilisés pour déterminer les risques et les avantages des systèmes d’IA. Il s’agit notamment de donner la priorité aux personnes en situation de handicap, qui sont les plus touchées par les préjudices subis.
• Ne pas utiliser d’évaluations des risques basées uniquement sur les risques et les avantages pour la majorité, ce qui constituerait une discrimination à l’égard des groupes minoritaires.
• Utiliser des algorithmes d’exploration qui recherchent des candidats différents des employés actuels afin d’accroître la diversité des employés lorsque des systèmes d’IA sont utilisés pour l’embauche. Cela peut réduire la discrimination statistique.
• L’utilisation de mesures inversées où les médias sociaux sont utilisés pour recueillir des commentaires afin de mettre en évidence les contributions nouvelles et minoritaires ainsi que les contributions majoritaires.

Figure 1. Phase de mise en œuvre : Détermination de la discrimination statistique

Remarque : Cette étape s’ajoute aux mesures visant à garantir une représentation proportionnelle complète et précise dans les données d’apprentissage, et à faire en sorte que les étiquettes, les indicateurs et les algorithmes ne contiennent pas de biais négatifs. La discrimination statistique est l’impact de l’utilisation du raisonnement statistique sur les décisions concernant les petites minorités.

Exemple : Les outils d’IA déployés pour sélectionner des candidats prometteurs pour un emploi (en particulier dans les scénarios d’embauche très compétitifs) sont formés pour correspondre aux profils de données d’anciens employés qui ont été embauchés. L’algorithme est conçu pour sélectionner les candidats qui correspondent au profil de données de l’employé performant ciblé. Les personnes en situation de handicap sont différentes de la moyenne et seront écartées. Lors de la mise en œuvre de l’IA, il convient de s’interroger sur la base des décisions afin de s’assurer que les critères de décision ne sont pas discriminatoires à l’égard des personnes qui sont des minorités marginalisées dans l’ensemble des données.

4.2.2 Fiabilité, exactitude et confiance

Les systèmes d’IA déployés par les organismes doivent être conçus de manière à éviter que la recherche de l’exactitude ne conduise à rejeter à tort des personnes en situation de handicap pour l’une ou l’autre raison :

• avoir une confiance excessive dans un système par ailleurs précis et fiable, ou;
• ne pas tenir compte des échecs comme étant anecdotiques et ne touchant qu’une petite minorité.

Une grande précision est généralement un bon résultat, mais l’exactitude est en contradiction avec la généralisation, car plus le système est précis, moins il généralise. Cela peut exclure injustement des personnes qualifiées, y compris des personnes en situation de handicap qui sont mal représentées dans le modèle dès le départ. La recherche d’une plus grande exactitude ne fera qu’exacerber ce problème.

Une confiance excessive dans un système d’IA, au point que les gens supposent que ses résultats sont toujours corrects et deviennent plus souples lorsqu’ils surveillent le système, entraîne souvent des échecs et des prédictions erronées qui échappent aux personnes qui surveillent le système. Le manque de surveillance peut contribuer au préjudice subi par les personnes en situation de handicap, y compris lorsque ces dernières déposent des plaintes. Le système étant perçu comme fiable, la plainte est alors rejetée comme anecdotique puisqu’elle est rare et ne concerne qu’une petite minorité.

Pour se conformer aux orientations, commencer par :

• Utiliser des mesures de précision qui incluent des résultats de précision désagrégés pour les personnes en situation de handicap. Les mesures de précision doivent également tenir compte du contexte d’utilisation et des conditions relatives aux personnes en situation de handicap.

4.2.3 Absence de préjugés négatifs

Les organismes veillent à ce que les systèmes d’IA n’aient pas de préjugés négatifs à l’égard des personnes en situation de handicap en raison de préjugés dans les données d’apprentissage, les substituts de données utilisés, les étiquettes de données ou la conception algorithmique.

Les préjugés discriminatoires des concepteurs et des développeurs humains, les disparités numériques ou le contenu discriminatoire ou désobligeant des données d’apprentissage peuvent tous mener à des systèmes d’IA négativement biaisés qui nuisent aux personnes de sexe, de race, d’âge, de capacité différentes et d’autres minorités marginalisées. Les systèmes d’IA peuvent amplifier, accélérer et automatiser ces préjugés.

Toutefois, contrairement à une variable plus simple comme le sexe, la race ou l’âge, les « personnes en situation de handicap » sont une catégorie qui regroupe des personnes aux capacités disparates plutôt qu’une variable unique mesurable. Bien qu’il soit peu probable que les préjugés négatifs à l’encontre des personnes en situation de handicap dans les systèmes d’IA puissent être complètement éliminés, des mesures devraient être prises pour supprimer les causes courantes de ces préjugés.

Pour se conformer aux orientations, commencer par :

• Utiliser des données d’apprentissage qui représentent un large éventail de personnes en situation de handicap.
• Utiliser un processus d’étiquetage qui fait participer les personnes en situation de handicap au choix et à la conservation des étiquettes de données.
• Ne pas utiliser d’ensembles de données comprenant des données stéréotypées ou discriminatoires à l’égard des personnes en situation de handicap.
• Ne pas utiliser de variables de substitution stéréotypées pour remplacer les personnes en situation de handicap ou les caractéristiques de leurs données lors de la formation, des essais et de la validation des systèmes d’IA.
• Ne pas utiliser d’algorithmes biaisés à l’encontre des personnes en situation de handicap lors de l’acquisition, de la conception ou de la mise au point de systèmes d’intelligence artificielle.

4.2.4 Équité des décisions et des résultats

Les organismes qui déploient des systèmes d’IA devraient surveiller les résultats des décisions de ces systèmes en ce qui concerne le traitement équitable des personnes en situation de handicap et utiliser ces données pour ajuster et perfectionner ces systèmes.

Les décisions en matière d’IA ne sont souvent pas en phase avec les résultats souhaités, de sorte que les renseignements sur les résultats devraient être utilisés pour ajuster le système de décision. Ce décalage se produit lorsqu’il n’y a pas de prise en compte de la complexité et des changements dans le contexte des décisions prises. Comme les personnes en situation de handicap ont souvent une vie complexe et imprévisible, avec de nombreux obstacles enchevêtrés, elles sont les plus touchées par ce décalage.

Pour se conformer aux orientations, commencer par :

• Utiliser des systèmes pour expliquer et surveiller les déterminants des décisions prises par les systèmes d’IA déployés et veiller à ce que ces déterminants soient équitables pour les personnes en situation de handicap et raisonnables en ce qui a trait aux décisions prises.

4.2.5 Sécurité, sûreté et protection contre l’utilisation abusive des données

Les organismes devraient élaborer des plans pour protéger les personnes en situation de handicap en cas de violation de données, d’attaques malveillantes utilisant des systèmes d’intelligence artificielle ou de signalement erroné comme suspect dans les systèmes de sécurité.

Les personnes en situation de handicap sont les plus vulnérables à l’abus et à la mauvaise utilisation des données, et elles sont souvent la cible de réclamations frauduleuses et d’escroqueries. C’est particulièrement le cas pour les personnes souffrant d’un handicap intellectuel, mais aussi pour celles qui dépendent d’informations auditives ou d’autres systèmes d’accès de rechange.

Les protections de la vie privée ne fonctionnent pas pour les personnes qui sont très uniques, car elles peuvent être facilement réidentifiées. Les personnes en situation de handicap sont également souvent placées dans des situations où elles doivent troquer leur vie privée contre des services essentiels.

Lorsque l’IA est utilisée dans le cadre des efforts de sécurité pour signaler les risques de sécurité, les anomalies nécessitant des audits financiers, la fraude fiscale, les risques d’assurance ou les menaces de sécurité, ces systèmes signalent de manière disproportionnée les personnes en situation de handicap parce qu’elles s’écartent des modèles reconnus ou moyens.

Pour se conformer aux orientations, commencer par :

• Créer des plans qui cernent les risques associés aux handicaps, ainsi que des actions claires et rapides pour protéger les personnes en situation de handicap.
• Aider à la récupération des données après une violation, un usage abusif ou une mauvaise utilisation de celles-ci.
• Utiliser les systèmes d’IA avec prudence et surveillance humaine lorsque les systèmes d’IA signalent des individus aux fins d’enquête.
• Surveiller les décisions du système d’IA afin de s’assurer que les personnes en situation de handicap ne sont pas signalées de manière disproportionnée aux fins d’enquête.

4.2.6 Absence de surveillance

Les organismes devraient s’abstenir d’utiliser des outils d’IA pour surveiller les employés et les clients en situation de handicap.

Les outils de productivité de l’IA et les outils d’IA qui surveillent les employés, les clients ou les consommateurs utilisent des mesures qui évaluent injustement les personnes en situation de handicap qui peuvent différer de la moyenne par leurs caractéristiques ou leur comportement. Ces outils constituent non seulement une atteinte à la vie privée, mais ils jugent ou évaluent injustement les personnes en situation de handicap.

Pour se conformer aux orientations, commencer par :

• Ne pas utiliser les systèmes d’intelligence artificielle aux fins de surveillance.

4.2.7 Absence de profilage discriminatoire

Les organismes devraient s’abstenir d’utiliser des outils d’IA pour la catégorisation biométrique (l’affectation de personnes à des catégories spécifiques sur la base de leurs données biométriques, comme les caractéristiques faciales ou vocales), l’analyse des émotions ou l’ordre prédictif des employés et des clients en situation de handicap.

Les personnes en situation de handicap sont exposées de manière disproportionnée au profilage discriminatoire. Le handicap est souvent médicalisé et des hypothèses infondées sont émises concernant les corrélations statistiques.

Pour se conformer aux orientations, commencer par :

• Ne pas utiliser de systèmes d’intelligence artificielle pour la catégorisation biométrique.
• Ne pas utiliser de systèmes d’intelligence artificielle pour l’analyse des émotions.
• Ne pas utiliser les systèmes d’IA pour l’ordre prédictif.

4.2.8 Absence de désinformation et de manipulation

Les organismes doivent veiller à ce que les systèmes d’IA ne répètent pas ou ne diffusent pas de stéréotypes ou de désinformation sur les personnes en situation de handicap et qu’ils ne soient pas utilisés pour manipuler ces dernières.

Les systèmes destinés à supprimer ou à empêcher la diffusion de contenus discriminatoires peuvent, par inadvertance, censurer les personnes en situation de handicap ou la discussion de sujets sensibles par des personnes qui tentent de lutter contre la discrimination. Voici quelques exemples de ces discriminations :

• L’exclusion des personnes présentant des différences faciales des sites de médias sociaux.
• Le remplacement des termes pertinents dans le sous-titrage lors de l’examen des questions de justice sociale.

Pour se conformer aux orientations, commencer par :

• Faire participer les personnes en situation de handicap à la détermination des critères de modération des données utilisés dans les systèmes d’intelligence artificielle.
• Ne pas censurer ou exclure les personnes en situation de handicap lorsque la surveillance de la toxicité est utilisée, ou empêcher la discussion de questions de justice sociale sur la base de mots censurés.

4.2.9 Transparence, reproductibilité et traçabilité

Lorsque des systèmes d’IA sont conçus, développés, achetés et/ou déployés par des organismes, des processus devraient être intégrés pour permettre une divulgation transparente des décisions en matière d’IA et de leur incidence.

Rendre les systèmes d’IA transparents peut aider les utilisateurs à comprendre comment le système les affecte, ce qui leur permet de formuler des commentaires pertinents ou de recommander des modifications significatives du système. Ceci est particulièrement important lorsque les systèmes prennent des décisions concernant des personnes ou un sous-ensemble spécifique de personnes, comme les personnes en situation de handicap, qui sont déjà confrontées à des obstacles lorsqu’elles accèdent à tout type d’information.

Pour se conformer aux orientations, commencer par :

• Utiliser des systèmes d’IA qui génèrent des résultats reproductibles dans la mesure du possible, afin de soutenir la contestation.
• Documenter et rendre publics les objectifs, les définitions, les choix de conception et les hypothèses concernant le développement d’un système d’IA lorsque les décisions prises par les systèmes d’IA ne sont pas reproductibles.

4.2.10 Responsabilisation

Il devrait y avoir une chaîne de responsabilité humaine traçable, responsable de l’expertise en matière d’accessibilité, qui indique clairement qui est responsable des décisions prises par un système d’IA.

La question de savoir qui ou quel organisme est responsable des conséquences négatives d’un système d’IA dépend du stade auquel les impacts négatifs ont été causés. La transparence et la traçabilité de la responsabilité humaine sont impératives pour déterminer la responsabilité.

En ce qui concerne les personnes en situation de handicap, les connaissances et l’expérience en matière d’accessibilité et de handicap devraient être un facteur permettant de déterminer où l’impact négatif a été causé, pourquoi il est préjudiciable aux personnes en situation de handicap et qui est responsable de ce préjudice.

Pour se conformer aux orientations, commencer par :

• Établir la responsabilité du processus de formation.
• Évaluer l’étendue et la diversité des sources de formation.
• Suivre la provenance ou la source des données d’apprentissage.
• Vérifier l’absence de sources de données stéréotypées ou discriminatoires.
• Veiller à ce que les processus de formation et de mise au point ne produisent pas de résultats préjudiciables pour les personnes en situation de handicap.

4.2.11 Agence individuelle, consentement éclairé et choix

Lorsqu’un système d’IA prend des décisions non supervisées par défaut, les fournisseurs d’IA doivent proposer un mécanisme d’option à plusieurs niveaux (possibilité pour les utilisateurs de se retirer, de passer à un autre système, de contester ou de corriger les résultats) afin que les utilisateurs puissent demander un processus décisionnel alternatif équivalent, complet et opportun.

La prise de décision automatisée non supervisée comporte des risques. Les personnes concernées ne sont pas en mesure d’éviter les préjudices de la discrimination statistique ou de s’y soustraire, à moins que des solutions de rechange supervisées par l’humain et exemptes d’IA ne soient proposées. Ces services de rechange doivent offrir un niveau équivalent de service, d’exactitude, de détail et de rapidité.

Pour se conformer aux orientations, commencer par :

• Proposer des solutions de rechange aux décisions basées sur l’IA, au choix de l’utilisateur. L’alternative doit être soit effectuée sans recours à l’IA, soit réalisée à l’aide de l’IA avec une supervision et une vérification de la décision par un humain.
• Établir des normes de niveau de service raisonnables pour tous les niveaux d’option, en veillant à ce que les modes de service humain répondent aux mêmes normes que les modes de service par défaut entièrement automatisés.
• Ne pas utiliser de mesures dissuasives qui réduisent la liberté de choix individuelle pour sélectionner des modes de service avec assistance humaine ou sans IA. Pour ce faire, les services de rechange doivent disposer de ressources suffisantes, être équivalents en matière de fonctionnalité et comparables aux services par défaut non supervisés.

4.2.12 Soutien au contrôle humain et à la surveillance

Les systèmes d’IA devraient fournir un mécanisme permettant de signaler les préjudices résultant d’une discrimination statistique de la part d’un système d’IA, d’y répondre et d’y remédier ou de les corriger, géré par une équipe de surveillance humaine dotée de ressources suffisantes, qualifiée, intégrée et réactive.

Il est impératif que les personnes en situation de handicap soient en mesure de repérer, de comprendre et de traiter les préjudices résultant de la prise de décision par l’IA. Si une réparation est nécessaire, elle requiert un engagement direct avec les communautés et les personnes en situation de handicap afin de remédier mutuellement aux préjudices ou aux décisions discriminatoires prises par les systèmes d’IA.

Pour se conformer aux orientations, commencer par :

• Collecter et divulguer des données sur les signalements de préjudice reçus et les contestations de décisions. Ces signalements doivent respecter les lignes directrices en matière de protection de la vie privée et de consentement.
• Intégrer les signalements de préjudice, les contestations et les corrections des décisions d’un système d’IA à une boucle de rétroaction protégée par le respect de la vie privée, qui est utilisée pour améliorer les résultats du modèle.
• Utiliser une boucle de rétroaction avec supervision humaine et une consultation des membres de la communauté des personnes en situation de handicap pour s’assurer que les préjudices sont suffisamment corrigés par le modèle d’IA.

4.2.13 Préjudices cumulés

Les organismes doivent disposer d’un processus permettant d’évaluer l’impact du point de vue des personnes en situation de handicap et de prévenir la discrimination statistique causée par l’effet global de nombreux préjudices cumulés qui se croisent ou s’accumulent au fil du temps à la suite de décisions de l’IA qui sont par ailleurs classées comme présentant un risque faible ou moyen (par exemple, la hiérarchisation des sujets, la sélection des fonctionnalités ou le choix des messages médiatiques).

La discrimination statistique nuit aux approches de gestion des risques, dans la mesure où la détermination du rapport risque-avantage se fait généralement de manière statistique ou à partir de données quantifiées. Cela entraîne des préjudices cumulés dus au rejet de nombreuses décisions à faible impact, toutes biaisées en défaveur d’une personne appartenant à une petite minorité.

Pour se conformer aux orientations, commencer par :

• Faire participer les personnes en situation de handicap à l’évaluation de l’impact cumulatif des décisions en matière d’intelligence artificielle.
• Aller au-delà de l’application spécifique lors de l’évaluation des préjudices potentiels pour prendre en compte toutes les orientations ou décisions de l’IA qui ont une incidence sur les utilisateurs de l’application de l’IA.

4.3 Processus organisationnels visant à soutenir une IA accessible et équitable

Lorsque les organismes déploient des systèmes d’IA, les processus organisationnels doivent soutenir des systèmes d’IA accessibles et équitables pour les personnes en situation de handicap. Chaque processus doit inclure et faire participer les personnes en situation de handicap à la prise de décision tout au long du cycle de vie de l’IA. Les processus doivent être accessibles aux personnes en situation de handicap en tant que membres du personnel, entrepreneurs, clients, membres d’organismes de personnes en situation de handicap ou membres du public.

Les processus organisationnels comprennent les processus utilisés pour :

• Planifier et justifier le besoin de systèmes d’intelligence artificielle;
• Concevoir, développer, acquérir et/ou adapter des systèmes d’intelligence artificielle;
• Procéder à des évaluations de l’incidence continues et à une surveillance éthique;
• Former les utilisateurs et les opérateurs;
• Fournir des mécanismes de transparence, de responsabilisation et de consentement;
• Donner accès à des approches de rechange;
• Gérer les mécanismes de rétroaction, de redressement, de recours et d’appel;
• Fournir des mécanismes de révision, de perfectionnement et de clôture.

Les systèmes d’IA sont conçus pour favoriser la moyenne et décider avec la moyenne. Compte tenu de la rapidité des changements dans le domaine des systèmes d’IA et de l’absence relative de méthodes pour remédier aux préjudices subis par les personnes en situation de handicap, l’équité et l’accessibilité doivent dépendre non seulement de critères de conception vérifiables, mais aussi des processus organisationnels en place. Cette clause définit les processus organisationnels qui favoriseront une plus grande accessibilité et une plus grande équité.

4.3.1 Planifier et justifier l’utilisation des systèmes d’intelligence artificielle

Lorsqu’un organisme propose et planifie le déploiement d’un système d’IA, l’incidence sur les personnes en situation de handicap doit être prise en compte et ces personnes qui seront directement ou indirectement touchées par le système d’IA doivent participer activement au processus de prise de décision.

Les cadres réglementaires diffèrent dans leurs approches, notamment en ce qui concerne l’encadrement basé sur le risque, l’incidence ou le préjudice. Les cadres de risque peuvent entraîner une discrimination statistique dans la détermination de l’équilibre entre le risque et le bénéfice, au détriment des minorités statistiques. Les évaluations de l’incidence ne tiennent pas compte de la discrimination statistique ou des préjudices cumulatifs. Les cadres fondés sur les préjudices dépendent des signalements de préjudices après qu’ils se sont produits.

De nombreux risques ne sont pas mesurables par un organisme et nécessitent l’engagement de personnes et d’autres organismes qui sont les plus touchés par les risques.

Pour se conformer aux orientations, commencer par :

• Utiliser des évaluations de l’incidence basées sur un éventail aussi large que possible de personnes en situation de handicap.
• Faire participer au processus décisionnel les personnes en situation de handicap qui sont confrontées aux obstacles les plus importants pour accéder à une fonction existante dans le processus de prise de décision, là où le système d’IA est destiné à remplacer ou à améliorer une fonction existante.
• Publier les intentions d’envisager un système d’IA dans un format accessible.
• Diffuser l’intention d’envisager un système d’IA aux organismes nationaux de personnes en situation de handicap et aux autres parties intéressées.
• Mettre en place un processus permettant aux organismes d’être informés.
• Fournir des méthodes accessibles pour transmettre une rétroaction lorsque l’on souhaite prendre en compte un système d’intelligence artificielle.

4.3.2 Concevoir, développer, acquérir et/ou adapter des systèmes d’IA accessibles et équitables

Les organismes sont déjà tenus de prendre en compte l’accessibilité et de consulter les personnes en situation de handicap lorsqu’ils achètent des systèmes. Toutefois, les systèmes d’IA nécessitent un engagement plus prudent et plus éclairé de la part des personnes concernées qui font des choix complexes.

Pour se conformer aux orientations, commencer par :

• Inclure des exigences d’accessibilité conformes aux clauses 3.1 et 3.2 des critères de conception, d’approvisionnement, de réapprentissage et de personnalisation.
• Demander l’avis des organismes de personnes en situation de handicap pour les décisions relatives à la conception, au développement, à l’approvisionnement et/ou à l’adaptation des systèmes d’IA.
• Faire participer les personnes en situation de handicap et les organismes de personnes en situation de handicap pour mettre à l’essai les systèmes d’IA avant leur déploiement.
• Rémunérer équitablement les personnes en situation de handicap et les organismes de personnes en situation de handicap qui participent aux essais de l’IA.
• Faire vérifier la conformité aux critères d’accessibilité et d’équité par une tierce partie experte en matière d’accessibilité et d’équité à l’égard des personnes en situation de handicap avant que la décision d’achat d’un système d’IA ne soit finalisée.

4.3.3 Procéder à des évaluations de l’incidence, à une surveillance éthique et à un suivi continus des préjudices potentiels.

Les règlements actuels et les propositions de règlement se concentrent sur les décisions à haut risque ou à forte incidence. Compte tenu des préjudices cumulés subis par les personnes en situation de handicap, les systèmes de surveillance devraient également prendre en compte les préjudices causés par les systèmes d’IA à incidence faible ou moyenne. Des systèmes considérés comme ayant une incidence faible ou moyenne sur la population générale peuvent avoir une incidence élevée sur les personnes en situation de handicap.

Pour se conformer aux orientations, commencer par :

• Tenir un registre public des préjudices, des décisions contestées, des obstacles à l’accès signalés et des cas de traitement inéquitable des personnes en situation de handicap.
• Mettre en place et maintenir un système de surveillance accessible au public pour suivre l’incidence cumulative des décisions à faible, à moyenne et à forte incidence sur les personnes en situation de handicap.
• Établir des seuils pour les niveaux inacceptables de risque et de préjudice avec les organismes nationaux de personnes en situation de handicap et les organismes experts en matière d’accessibilité et d’équité à l’égard des personnes en situation de handicap.

4.3.4 Former le personnel à une IA accessible et équitable

Tout le personnel responsable de l’un ou de l’autre aspect du cycle de vie de l’IA devrait recevoir une formation sur l’IA accessible et équitable à l’égard des personnes en situation de handicap.

La prévention ou la détection des préjudices et des risques nécessite la sensibilisation et la vigilance de l’ensemble du personnel. Le déploiement de l’IA est souvent utilisé pour remplacer le travail humain, en réduisant le nombre de personnes chargées de surveiller et de détecter les problèmes. Cela signifie que tout le personnel concerné doit être formé pour comprendre l’incidence des systèmes d’IA sur les personnes en situation de handicap et les moyens de prévenir les préjudices.

Pour se conformer aux orientations, commencer par :

• Former l’ensemble du personnel à l’accessibilité et à l’équité de l’IA conformément à la clause 4.4.2.
• Mettre à jour la formation régulièrement.
• Inclure des stratégies de détection des préjudices et des risques dans la formation.

4.3.5 Assurer la transparence, la responsabilisation et le mécanisme de consentement

Les mécanismes accessibles qui permettent aux utilisateurs de donner leur consentement éclairé aux décisions des systèmes d’IA doivent être fournis aux personnes en situation de handicap qui sont directement ou indirectement touchées par un système d’IA.

L’accessibilité des mécanismes et la transparence du processus décisionnel en matière d’IA sont essentielles pour minimiser les préjudices causés aux personnes en situation de handicap, qu’il s’agisse de systèmes d’IA à risque faible, moyen ou élevé.

Pour se conformer aux orientations, commencer par :

• Fournir des renseignements accessibles sur les données d’apprentissage, y compris les données utilisées pour préentraîner une IA, personnaliser ou entraîner dynamiquement un système d’IA.
• Fournir des renseignements accessibles sur les étiquettes de données et les données de substitution utilisées dans la formation.
• Fournir des renseignements accessibles sur les décisions en matière d’IA et les facteurs déterminants de ces décisions.
• Fournir les coordonnées accessibles des personnes responsables des systèmes d’IA et des décisions qui en découlent.
• Fournir tous les renseignements sous une forme non technique et en langage clair, de manière que l’incidence potentielle des décisions soit évidente.
• Permettre aux personnes de retirer leur consentement à tout moment sans conséquences négatives.

4.3.6 Donner accès à des approches de rechange équivalentes

Les organismes qui déploient des systèmes d’IA devraient proposer aux personnes en situation de handicap des options de rechange offrant une disponibilité, une rapidité, un coût et une commodité équivalents.

La supervision humaine et l’expertise nécessaire sont essentielles pour rendre les systèmes d’IA équitables et accessibles aux personnes en situation de handicap. Le fait de maintenir en poste des personnes possédant cette expertise permet également d’éviter l’atrophie des compétences humaines.

Pour se conformer aux orientations, commencer par :

• Offrir la possibilité de demander que les décisions humaines soient prises par des personnes ayant des connaissances, de l’expérience et des compétences dans le domaine des besoins des personnes en situation de handicap.
• Offrir la possibilité de demander une supervision humaine ou de confier la prise de décision finale à une personne compétente dans le domaine des besoins des personnes en situation de handicap, guidée par l’IA.
• Maintenir en poste les personnes possédant l’expertise nécessaire pour prendre des décisions humaines équitables concernant les personnes en situation de handicap lorsque des systèmes d’intelligence artificielle sont déployés pour remplacer des décisions prises auparavant par des humains.

4.3.7 Fournir des mécanismes de rétroaction, de plainte, de recours et d’appel

Les organismes doivent prévoir des mécanismes de rétroaction, de plainte, de recours et d’appel pour les personnes en situation de handicap.

Si les personnes en situation de handicap ne disposent pas d’un moyen facile et accessible de fournir une rétroaction au sujet des systèmes d’IA et de leurs décisions, les organismes ne peuvent pas suivre avec précision l’incidence sur les personnes en situation de handicap. Ces mesures rendent les systèmes d’IA et leurs décisions plus transparents, responsabilisent les organismes et permettent à ces derniers et aux modèles d’IA d’apprendre et de s’améliorer sur la base des préjudices documentés.

Pour se conformer aux orientations, commencer par :

• Fournir des mécanismes de rétroaction, de plainte, de recours et d’appel faciles à trouver, accessibles et exploitables.
• Accuser réception et fournir une réponse à la rétroaction et aux incidents dans un délai maximum de 24 heures.
• Fournir un calendrier pour traiter les rétroactions et les incidents.
• Proposer une procédure permettant aux personnes en situation de handicap ou à leurs représentants de fournir une rétroaction sur les décisions de manière anonyme.
• Communiquer aux personnes en situation de handicap ou à leurs représentants l’état d’avancement du traitement de la rétroaction et leur offrir la possibilité de faire appel ou de contester les mesures correctives proposées.

4.3.8 Examiner, perfectionner, mettre fin ou arrêter

Les organismes qui déploient des systèmes d’IA doivent continuellement les examiner, les perfectionner et, si nécessaire, les arrêter ou y mettre fin.

L’évaluation des performances des systèmes d’IA et les mesures prises en réponse à cette évaluation doivent tenir compte de l’incidence sur les personnes en situation de handicap, même si ces préjudices ne concernent qu’un nombre relativement faible de personnes. Cette évaluation doit être continue, car les performances peuvent se dégrader et les décisions peuvent être biaisées. Les personnes en situation de handicap sont souvent les premières à ressentir les impacts des problèmes.

Pour se conformer aux orientations, commencer par :

• Examiner et perfectionner régulièrement les systèmes d’intelligence artificielle.
• Mettre fin à l’utilisation de l’IA lorsque cela est nécessaire, par exemple en cas de dysfonctionnement du système ou lorsque les critères d’équité pour les personnes en situation de handicap se dégradent ou ne sont plus respectés.
• Prendre en compte l’ensemble des préjudices, y compris les préjudices cumulés résultant de décisions ayant une incidence faible ou moyenne sur les personnes en situation de handicap.

4.4 Avoir une éducation et une formation accessibles

L’éducation et la formation doivent soutenir la création d’une IA accessible et équitable. Il s’agit notamment de l’éducation et de la formation à l’IA accessibles aux personnes en situation de handicap, de la couverture du contenu lié à l’accessibilité et à l’équité dans la formation à l’IA, et de la formation des modèles de l’IA.

L’accessibilité de l’éducation et de la formation dans le domaine de l’IA permet aux personnes en situation de handicap de participer à toutes les phases du cycle de vie de l’IA. L’intégration des principes d’accessibilité et d’équité à l’éducation et à la formation à l’IA favorise la création de systèmes et d’outils d’IA plus accessibles. La formation continue et le perfectionnement des systèmes d’IA en fonction des risques encourus par les personnes en situation de handicap ainsi que des contestations et des demandes d’exceptions favorisent une IA plus équitable pour ces personnes à long terme.

4.4.1 Donner de la formation et une éducation dans le domaine de l’IA

La formation et l’éducation dans le domaine de l’IA doivent être accessibles aux personnes en situation de handicap.

Les personnes en situation de handicap devraient avoir la possibilité de participer au développement et à la conception de systèmes d’IA en ayant une compréhension de ces systèmes. Cela permettra de minimiser les préjudices subis par les personnes en situation de handicap du fait de leur participation directe au développement des systèmes d’IA.

Pour se conformer aux orientations, commencer par :

• Veiller à ce que les programmes et le matériel de formation et d’éducation soient accessibles.

4.4.2 Donner une formation et une éducation dans le domaine de l’IA accessible et équitable

Lorsque les organismes proposent une formation et une éducation dans le domaine de l’IA, ces dernières doivent inclure des instructions sur l’accessibilité et l’équité de l’IA.

L’éducation et la formation dans le domaine de l’IA devraient inclure des renseignements sur la création de systèmes d’IA accessibles et équitables afin que les systèmes et les outils émergents soient conçus de manière inclusive.

Pour se conformer aux orientations, commencer par :

• Intégrer un contenu sur l’accessibilité et l’équité de l’IA à la formation et à l’éducation.
• Intégrer les méthodes de co-conception avec les personnes en situation de handicap à la formation et à l’éducation.

4.4.3 Formation de modèles d’IA

Les renseignements tirés de contestations, de recours, de signalements des risques et de demandes de dérogation devraient être utilisés pour perfectionner les systèmes d’IA tout en respectant des pratiques strictes en matière de protection des renseignements personnels.

Les systèmes d’IA devraient être gérés de manière à tirer les leçons des erreurs et des échecs afin que ces préjudices ne se répètent pas. Cela nécessite une formation qui utilise des données portant sur l’éventail des résultats issus des décisions en matière d’IA, y compris des données qui mettent en évidence l’incidence sur les personnes en situation de handicap.

Pour se conformer aux orientations, commencer par :

• Documenter les contestations, les recours, les rapports sur les risques et les demandes de dérogation.
• Perfectionner en permanence les systèmes d’intelligence artificielle sur la base ou à l’aide de données provenant de contestations, de recours, de rapports sur les risques et de demandes de dérogations.