Police prédictive et risque de discrimination

Des prévisions policières orientées vers les lieux et les personnes

La Suisse, et plus particulièrement la Suisse alémanique, est considérée comme une pionnière dans le domaine de la police prédictive («predictive policing»). Cette pratique, aussi appelée prédiction ou prévision policière, recourt à des systèmes de décisions algorithmiques établissant des prévisions statistiques sur les incidents qui pourraient nécessiter une intervention policière. Il existe deux modèles principaux de police prédictive: le premier est centré sur l’espace et le temps, et le second sur l’individu, répondant donc aux questions «où?» et «qui?». L’approche géographique de la police prédictive consiste à identifier les lieux dans lesquels il est particulièrement probable qu’une infraction, par exemple un vol avec effraction, soit sur le point d’être commise. Dans le cas de l’approche police prédictive centrée sur l’individu, il s’agit d’identifier les futur·e·x·s délinquant·e·x·s en calculant leur probabilité de commettre une infraction.

La «Heat List» de la police de Chicago, une méthode rendue publique en 2013, est un exemple typique de police prédictive orientée sur les individus. La police de Chicago tenait une liste de personnes ayant une forte probabilité de commettre des délits. La probabilité était calculée notamment sur la base des antécédents judiciaires, de l’appartenance à un gang ainsi que des morts violentes dans le cercle des connaissances. Les personnes figurant sur la «Heat List» avaient reçu la visite non annoncée de policier·ère·x·s qui leur ont conseillé de s’abstenir de toute activité criminelle.

L’outil de prévision policière PRECOBS, utilisé en Suisse, a pour objectif de prévenir les cambriolages en se basant sur les lieux. Les outils centrés sur les personnes sont quant à eux principalement employés dans les domaines de la violence basée sur le genre (DyRiAS-Intimpartner, ODARA et Octagon), de l’extrémisme (Ra-Prof et Octagon) et des actes de violence en général (DyRiAS-Arbeitsplatz et DyRiAS-Schule) en Suisse. D’autres outils appartenant aux deux catégories de police prédictive: PICAR, qui permet une analyse criminelle dans le cadre de la détection des délits patrimoniaux, violents et sexuels en série, et Watson, qui permet une analyse d’enregistrements vidéo. D’une manière générale, on peut toutefois constater que tant la transparence sur l’utilisation de systèmes de décisions algorithmiques dans le domaine de la police prédictive qu’une vue d’ensemble claire des outils utilisés manquent à l’heure actuelle.

Des «biais» dans les systèmes de décisions informatisés

Il est désormais incontesté que les programmes informatiques, à l’instar des humains, commettent des erreurs et sont sujets à certains biais. L’utilisation de telles technologies peut donc entraîner des discriminations, y compris dans le domaine de la police prédictive. Les limites des systèmes de décisions basées sur les algorithmes sont visibles tout au long du processus, du développement au perfectionnement, en passant par l’application de ces systèmes.

Lors du développement d’algorithmes, des données biaisées sont utilisées. D’une part, aucune donnée ne peut offrir une représentation complète d’une personne et, d’autre part, toute donnée reflète des préjugés existants découlant de la perception humaine, elle aussi biaisée. La police prédictive s’intéresse avant tout aux données relatives aux délits. Il est toutefois problématique que seules les affaires dans lesquelles des personnes ont été condamnées ou accusées, et non tous les délits effectivement commis, soient enregistrées. Certaines catégories de personnes ou certains lieux se retrouvent en effet contrôlés de manière disproportionnée, alors que d’autres le sont moins fréquemment. En raison de cette perception sélective de la police, les délits commis par des personnes issues de l’immigration sont plus souvent détectés et poursuivis que ceux commis par d’autres groupes de la population. 

Des limites apparaissent également lors de l’application des systèmes de décision automatisée. Des études ont mis en valeur le biais d’automatisation en montrant que les humains remettent rarement en question les résultats des programmes informatiques et prennent rarement des décisions. Cet effet pourrait être particulièrement prononcé dans le domaine de la police prédictive, étant donné qu’il s’agit de biens protégés importants et que certains des systèmes les plus complexes sont utilisés sans formation spécifique. Si un outil dans le domaine de la violence basée sur le genre indique un risque élevé d’escalade par exemple, il peut être plus difficile de se fier à sa propre appréciation si celle-ci diverge, d’autant plus si on se trouve sous pression pour justifier un écart du résultat produit par l’algorithme. À l’inverse, il est plus probable qu’aucune explication ne soit exigée lorsque la décision est conforme à l’algorithme. On peut par ailleurs s’attendre à ce que de plus en plus de prévisions soient réalisées par des personnes non expertes, au risque de conduire à une baisse des connaissances nécessaires pour évaluer pleinement les individus et la situation en jeu.

Lors du perfectionnement des algorithmes, les biais existants peuvent être renforcés par des boucles de rétroaction («feedback loop»), produites par l’influence des prédictions du système sur les données, lesquelles sont ensuite utilisées pour mettre à jour le système.

Pas de contrôle indépendant de l’efficacité

Un point de critique central à l’égard des systèmes de décisions basés sur les algorithmes, tant en Suisse qu’à l’étranger, est l’absence de contrôle indépendant de leur efficacité. Nombre de ces instruments ont par ailleurs été développés en dehors de la Suisse, ce qui soulève la question de leur applicabilité, sans adaptation au contexte suisse. En Suisse, seuls les outils PRECOBS, DyRiAS et ODARA ont fait l’objet d’études indépendantes, mais aucune n’a pu démontrer leur efficacité. DyRiAS et ODARA ont notamment été critiqués pour avoir fortement surestimé le risque d’actes de violence. Au-delà des critiques liées à l’utilisation de systèmes de décisions algorithmiques, il convient également de noter qu’il n’a jusqu’à présent pas été démontré que la police prédictive constitue une méthode réellement adaptée à la prévention de la criminalité.

Des systèmes de décisions algorithmiques qui discriminent

Lorsque la police utilise ce type de systèmes de décisions algorithmiques, des discriminations peuvent survenir. Ces discriminations peuvent être directes, par exemple lorsqu’un·e·x programmeur·euse·x intègre dans le système un critère discriminatoire protégé, tel que la couleur de peau ou la religion, qui entraîne une décision défavorable pour la personne concernée. Ce serait par exemple le cas si le système attribuait à des personnes d’une certaine appartenance religieuse un risque de sanction plus élevé qu’aux personnes d’une autre confession. Les risques de discrimination indirecte sont cependant plus grands: une décision peut en effet être prise sur la base d’une caractéristique prétendument neutre, comme le lieu de résidence. Cette caractéristique peut toutefois être statistiquement liée à des critères protégés, tels que l’origine, par exemple lorsque dans un certain quartier résident principalement des personnes d’une même origine. Si un algorithme attribue ensuite automatiquement à toutes les personnes vivant dans ce quartier un risque plus élevé de commettre une infraction, il en résulte une discrimination indirecte fondée sur l’origine, à savoir une discrimination raciale. Ces variables apparemment neutres, qui permettent néanmoins de tirer des conclusions sur une caractéristique protégée contre la discrimination, sont appelées «variables proxy». Il reste cependant difficile de définir le degré d’estimation statistique du risque, fondée sur une variable proxy, à partir duquel on peut parler de discrimination: l’attribution d’une probabilité supérieure de seulement 1% de commettre un délit est-elle déjà considérée comme une discrimination, ou une proportion plus grande est-elle nécessaire? Comme aucune réglementation légale claire à ce sujet n’existe à ce jour, cette question doit en fin de compte être tranchée au cas par cas par les tribunaux. Le principe suivant devrait cependant s’appliquer: une discrimination causée par un système de décisions basé sur les algorithmes utilisé par la police constitue une violation de l’interdiction de discrimination, tel qu’elle est consacrée par la Constitution (article 8, al. 2, Cst.) et la Convention européenne des droits de l’homme (art. 14 CEDH), même si la variable proxy ne rehausse que faiblement l’évaluation du risque. Une violation de l’interdiction de discrimination est d’autant plus probable que le nombre de personnes potentiellement concernées est élevé, que la discrimination est réprouvée, et que l’interdiction de discrimination ou d’autres droits fondamentaux est fortement violée (p. ex. en raison de discriminations multiples) dans le cas où un risque disproportionné est attribué à des individus.

Une discrimination et un effet dissuasif difficiles à prouver

Il reste compliqué pour les personnes victimes de discriminations, d’identifier, puis de prouver ces dernières. Les discriminations indirectes, notamment celles résultant de variables proxy, sont difficiles à détecter, car il n’existe aucun lien direct et évident entre une caractéristique et un groupe de personnes donné. Il en va de même pour les discriminations causées par des algorithmes complexes et/ou non transparents. Même lorsqu’un algorithme est publié, il est quasiment impossible pour le grand public de l’analyser sans recourir à une expertise coûteuse.

Par ailleurs, la difficulté de faire valoir une atteinte aux droits fondamentaux peut avoir un effet dissuasif ou d’intimidation («chilling effect»). Ainsi, par crainte d’être injustement ciblés par de tels algorithmes, les individus auront tendance à adapter leur comportement plutôt que de faire valoir leurs droits. Enfin, en raison de la grande complexité des algorithmes, il existe un risque que les tribunaux n’examinent les éventuelles discriminations algorithmiques que de manière superficielle. En d’autres termes, le risque est qu’ils se contentent d’un simple contrôle de l’arbitraire, se limitant à vérifier si une décision basée sur les algorithmes est manifestement infondée, sans vraiment examiner en profondeur si elle est discriminatoire.

Des mesures pour éviter la discrimination algorithmique

Une action au niveau législatif est nécessaire: il faudrait, d’abord, modifier la Constitution fédérale (Cst.) afin de prévenir efficacement les discriminations engendrées par les systèmes de décisions algorithmiques et de garantir aux personnes concernées une protection effective au titre de l’interdiction de discrimination. Étant donné que ces systèmes décisionnels sont souvent développés par des acteurs privés, il serait opportun de prévoir dans la Constitution une interdiction de discrimination également applicable aux personnes privées. Il est également nécessaire d’élargir les critères de discrimination actuellement reconnus, afin de garantir une protection efficace contre les discriminations liées à des variables proxy. Par ailleurs, la reconnaissance constitutionnelle de la discrimination intersectionnelle, également appelée discrimination multiple, est indispensable pour reconnaître que les discriminations peuvent se renforcer dans leur portée et leur gravité lorsqu’elles se combinent. La Constitution devrait en outre intégrer un mandat étatique en faveur de l’égalité entre les personnes racisées et non racisées, car on peut supposer que les discriminations raciales sont largement répandues dans le domaine de la police prédictive. 

Ce mandat visant à renforcer l’égalité devrait être complété par un mandat législatif pour une loi contre la discrimination, destinée à protéger efficacement contre la discrimination algorithmique. Dans ce sens, la proposition de humanrights.ch pour une loi générale contre la discrimination prévoit une série de dispositions visant à garantir que l’utilisation de systèmes d’intelligence artificielle et de systèmes algorithmiques ne conduise pas à des discriminations directes ou indirectes de personnes physiques ou morales. De plus, deux articles distincts obligeront les autorités de sécurité à mettre en œuvre le principe de non-discrimination et à prendre des mesures pour prévenir et éliminer les discriminations institutionnelles.

Dans la pratique, les utilisateur·trice·x·s, en l’occurrence les policier·ère·x·s avant tout, devraient suivre des formations spécifiques. Les développeur·euse·x·s et les programmeur·euse·x·s participant à la conception de ces systèmes devraient également y avoir accès, afin de les sensibiliser aux risques de discrimination et à d’autres aspects critiques. Le manque de diversité au sein des équipes, tant dans la police que dans les entreprises et les universités, reste une faiblesse majeure; des équipes plus hétérogènes pourraient non seulement accroître la sensibilité face aux discriminations, mais aussi contribuer à des solutions plus justes et plus inclusives. 

Il conviendrait par ailleurs d’ancrer légalement une obligation de documentation, applicable tant au stade du développement qu’à celui de l’utilisation. Enfin, la publication de rapports annuels sur l’utilisation et la performance des outils constituerait un moyen efficace de renforcer la transparence et la responsabilité en la matière.

Enfin, les fabricants de systèmes de décisions algorithmiques, généralement des entreprises privées, devraient être tenus par la loi de rechercher activement les discriminations et de procéder à des évaluations régulières de leurs systèmes par des organismes indépendants et interdisciplinaires, composés de juristes et de spécialistes en informatique, soutenues par l’État. De plus, les fabricants devraient être obligés d’utiliser des méthodes statistiques visant à corriger les biais présents dans les données d’apprentissage. Plusieurs projets de recherche prometteurs existent déjà dans ce domaine et travaillent à la mise au point de solutions adaptées.

Des obstacles à l’accès à la justice en cas de discrimination algorithmique à lever

Il est nécessaire de renverser la charge de la preuve, de sorte qu’en cas de plainte pour discrimination algorithmique, la charge de la preuve incombe à la partie qui utilise les algorithmes, et donc à la police dans le cas de la prévision policière. Même si la personne qui porte plainte reste en principe tenue de fournir un commencement de preuve, les exigences à cet égard ne doivent en aucun cas être trop élevées, compte tenu de la complexité des algorithmes et du risque élevé de discrimination algorithmique. Il conviendrait également d’introduire un droit de recours des organisations afin que ces dernières (p. ex. des associations ou des fondations) puissent déposer une plainte au nom de tiers contre des discriminations causées par des algorithmes, sans être elles-mêmes concernées par la discrimination. Dans le domaine de la police prédictive, une loi (p. ex. une loi anti-discrimination) pourrait accorder à des organisations telles qu’AlgorithmWatch CH un droit de recours général pour faire valoir les droits d’autres personnes concernées par des discriminations algorithmiques, afin d’éviter un non-recours à la justice pour celles qui ne sont pas en mesure de faire valoir leurs droits. Des mécanismes de protection efficaces pour les lanceur·euse·x·s d’alerte devraient également être mis en place.

Des algorithmes qui reflètent les rapports de force existants

Pour conclure, une question essentielle se pose: comment aborder le constat selon lequel les algorithmes discriminent? Lorsque de telles discriminations sont mises en évidence, le débat ne devrait pas se focaliser uniquement sur les erreurs techniques. Il est tout aussi crucial de s’interroger sur la manière dont les rapports de pouvoir structurels rendent ces discriminations possibles. Finalement, les algorithmes reflètent en effet les préjugés sociétaux, lesquels sont intégrés dans les systèmes par des données et des perceptions biaisées. Le programme «COMPAS» utilisé aux États-Unis pour évaluer le risque de récidive de personnes accusées illustre bien les mécanismes discriminatoires d’un système de décision: selon des études, cet algorithme classe presque deux fois plus souvent à tort les personnes BIPOC (Black, Indigenous and People of Color) comme présentant un risque élevé de récidive, par rapport aux personnes non racisées. L’algorithme reproduit ainsi le préjugé raciste selon lequel les personnes racisées sont plus susceptibles de récidiver. Ainsi, la reconnaissance d’une discrimination structurelle émanant de l’action des autorités qui utilisent ce type de systèmes décisionnels serait une première étape importante pour lutter contre d’autres formes de discrimination.

Références bibliographiques complémentaires:

• Agentur der Europäischen Union für Grundrechte: Bias in Algorithms, Artificial Intelligence and Discrimination, 2022
• Andreatta, Jasmin: Vorausschauende Polizeiarbeit und Racial Profiling: Diskriminierungsrechtliche Herausforderungen zwischen Chancen und Grenzen, Masterarbeit 2025.
• Gesellschaft für Informatik: Technische und rechtliche Betrachtungen algorithmi-scher Entscheidungsverfahren, 2018.
• Rath, Matthias, Krotz, Friedrich, Karmasin, Matthias (Hrsg.): Maschinenethik, Normative Grenzen autonomer Systeme, 2019 (Kapitel Rassistische Maschinen? Übertragungsprozesse von Wertorientierungen zwischen Gesellschaf und Technik, S. 121-134).
• Simmler, Monika (Hrsg.): Smart Criminal Justice, 2021.

Autrice (version originale en allemand): Jasmin Andreatta, qui a rédigé son mémoire sur ce sujet.