Une loi générale contre la discrimination pour renforcer la protection contre la discrimination algorithmique

Dans une série d’articles, AlgorithmWatch CH, humanrights.ch et d’autres organisations montrent que les algorithmes ne sont ni neutres ni objectifs. AlgorithmWatch CH explique: «Lorsque des systèmes basés sur des algorithmes ou sur l'IA sont utilisés par les autorités et les entreprises pour faire des prévisions, émettre des recommandations ou prendre des décisions, ils peuvent conduire à des injustices et à des discriminations.» Parmi les domaines potentiellement concernés par la discrimination algorithmique, on peut notamment citer le monde professionnel, la sécurité sociale, les assurances, le domaine policier et judiciaire, ainsi que les réseaux sociaux. Ce type de discrimination peut également toucher différents groupes d’individus, tels que les femmes, les personnes racisées, les personnes non binaires, les personnes en situation de pauvreté ou encore les enfants.

Un domaine particulièrement exposé au risque de discriminations algorithmiques est celui de la police prédictive («predictive policing»), soit la recherche automatisée de véhicules et la surveillance du trafic dans le cadre de la lutte contre la criminalité. À cette fin, des programmes calculent automatiquement, sur la base de grandes quantités de données, la probabilité qu’une infraction soit commise au sein d’un certain cercle ou par une certaine personne. Ainsi, certains groupes peuvent se voir davantage ciblés injustement par la police, parce que les individus qui les composent sont touchés par la pauvreté, qu’ils vivent dans des quartiers socio-économiquement défavorisés, qu’ils sont issus de la migration, qu’ils sont racisés ou qu’ils sont des hommes.

Une législation pour prévenir la discrimination algorithmique

Dans un papier de position publié en septembre 2023, AlgorithmWatch CH réclame l’extension de la législation antidiscriminatoire en vigueur. Le service allemand de lutte contre les discriminations («Antidiskriminierungsstelle des Bundes») a quant à lui réalisé une étude, dans laquelle il propose des recommandations détaillées portant sur la réglementation des règles de décision des algorithmes. À ces deux publications s’ajoute la proposition de loi ambitieuse de humanrights.ch, contenant notamment une obligation pour le Conseil fédéral de prendre des mesures préventives en la matière. En effet, l’article 22 demande au Conseil fédéral: 

• d’établir un registre des systèmes algorithmiques utilisés soit pour influencer des décisions entièrement ou partiellement automatisées soit pour générer des contenus qui influencent les décisions prises par des êtres humains ou concernant des êtres humains;
• de mener, avant ou pendant la mise en œuvre d’un nouveau système algorithmique utilisé pour la prise de décision entièrement ou partiellement automatisée, une analyse de l’impact de ce système sur les êtres humains et sur la société.  Premièrement, une évaluation des risques d’atteinte aux droits fondamentaux et aux droits humains doit être menée, en tenant compte notamment des risques de discriminations potentielles. Deuxièmement, des mesures visant à réduire ces risques d’atteinte aux droits fondamentaux et aux droits humains doivent être adoptées. Troisièmement, les résultats de cette analyse d’impact doivent être publiés sous une forme appropriée;
• de mener, auprès des institutions étatiques, des contrôles de l’utilisation des systèmes d’intelligence artificielle ainsi que des décisions entièrement ou partiellement automatisées fondées sur des algorithmes;
• d’être habilité à mener des contrôles auprès des institutions privées et à consulter leurs documents, en cas de suspicion fondée de discriminations dues à l’utilisation de systèmes d’intelligence artificielle ou de systèmes décisionnels entièrement ou partiellement automatisés fondés sur des algorithmes, ainsi que dans le cas où ces systèmes sont utilisés dans des domaines sensibles;
• de veiller à ce que les personnes physiques et morales touchées par des décisions entièrement ou partiellement automatisées découlant de l’utilisation de systèmes algorithmiques soient informées de l’utilisation de ces systèmes; aient droit à une explication quant au fonctionnement de ces systèmes; soient informées des voies d’opposition et des voies de recours en la matière;
• de veiller à ce que les personnes physiques et morales aient le droit de se soustraire à une décision partiellement ou entièrement automatisée, lorsque celle-ci comporte des risques d’atteinte aux droits fondamentaux ou entraîne des effets juridiques importants, et qu’elles puissent exiger, en lieu et place, un traitement effectué par un être humain;
• de tenir compte des effets structurels des discriminations algorithmiques et du risque de discriminations liées aux variables de substitution (proxy variables) dans la mise en œuvre des mesures exigées;
• d’édicter les dispositions nécessaires en matière de protection des données afin de mettre en œuvre les présentes obligations.

Responsabilisation des institutions privées

Au-delà de l’État, les acteurs privés et les organisations communautaires doivent être soumis, dans une certaine mesure, à des obligations. Concrètement, la proposition de loi de humanrights.ch les contraint à mener une analyse d’impact, lorsqu’ils utilisent des systèmes de décision partiellement ou entièrement automatisée ayant des répercussions sur des personnes physiques, et à adopter, en présence de risques d’atteinte aux droits fondamentaux et aux droits humains, des mesures appropriées afin de minimiser ces risques. Si l’autorité de surveillance en fait la demande, la documentation liée à l’analyse d’impact doit lui être fournie. S’il s’agit de domaines sensibles, les résultats de l’analyse doivent être publiés sous une forme appropriée. 

Un instrument étatique de contrôle et de mise en application

Afin de s'assurer que l’État et les institutions privées appliquent ces obligations légales, le Conseil fédéral doit créer un service indépendant détenant la compétence en matière de surveillance et de mise en œuvre de ces obligations. L’autorité de surveillance en question peut s’apparenter à des modèles d’organes déjà existants, tels que la Surveillance des prix, la Commission fédérale des maisons de jeu ou les organismes de surveillance de la FINMA (par ex. ceux compétents en matière de blanchiment d’argent).