Predictive Policing und die Gefahr von Diskriminierung

Ortsbezogenes und personenbezogenes Predictive Policing

Die Schweiz, insbesondere die Deutschschweiz, gilt als Pionierin im Bereich der vorausschauenden Polizeiarbeit. Die Aufgabe algorithmischer Entscheidungssysteme im Predictive Policing – auf Deutsch auch vorausschauende oder vorhersagende Polizeiarbeit genannt – besteht darin, anhand von Wahrscheinlichkeiten statistische Prognosen über mögliche Vorfälle zu erstellen, die eine Polizeiintervention erfordern könnten. Die Systeme lassen sich in zwei Hauptkategorien unterteilen: ortsbezogenes und personenbezogenes Predictive Policing, die sich anhand der Fragen «Wo?» und «Wer?» unterscheiden. Beim ortsbezogenen Predictive Policing werden Orte identifiziert («Wo?»), bei denen es besonders wahrscheinlich ist, dass in nächster Zeit eine Straftat (vor allem Einbruchsdiebstahl) begangen wird. Beim personenbezogenen Predictive Policing geht es um die Identifikation von zukünftigen Straftäter*innen («Wer?»), auch Gefährder*innen genannt, wobei die Wahrscheinlichkeit berechnet wird, dass die betroffene Person zukünftig eine Straftat begeht.

Ein typisches Beispiel für personenbezogenes Predictive Policing ist das im Jahr 2013 bekanntgewordene Beispiel der Chicagoer Polizei. Die Chicagoer Polizei führte eine sogenannte «Heat List», also eine Liste von Personen, die mit hoher Wahrscheinlichkeit in Zukunft Straftaten begehen werden. Die Wahrscheinlichkeit wurde unter anderem anhand Vorstrafen, Gangmitgliedschaften und gewaltsamer Todesfälle im Bekanntenkreis berechnet. Die Personen auf der Heat List wurden unerwartet von Polizist*innen besucht, die ihnen rieten, sich von kriminellen Aktivitäten fernzuhalten.

Als Beispiel für ein in der Schweiz angewendetes ortsbezogenes Tool ist PRECOBS zu nennen, das zum Ziel hat, Einbruchdiebstähle zu verhindern. Personenbezogene Tools werden in der Schweiz vor allem im Bereich von geschlechterspezifischer Gewalt (DyRiAS-Intimpartner, ODARA und Octagon), Extremismus (Ra Prof und Octagon) und allgemeinen Gewalttaten (DyRiAS-Arbeitsplatz und DyRiAS-Schule) angewendet. Tools, die sowohl dem personen- als auch ortsbezogenen Predictive Policing zuordenbar sind, sind PICAR (Kriminalanalyse bei der Erkennung serieller Vermögens-, Gewalt- und Sexualdelikten) und Watson (Auswertung von Videoaufnahmen). Grundsätzlich ist jedoch festzuhalten, dass die Anwendung von algorithmenbasierten Entscheidungssystemen im Bereich Predictive Policing derzeit sehr intransparent ist und eine klare Übersicht über den Einsatz aller verwendeten Tools fehlt.

«Bias» bei der Entwicklung, Anwendung und Weiterentwicklung von computerbasierten Entscheidungssystemen

Mittlerweile ist unbestritten, dass auch Computerprogramme – ähnlich wie Menschen – fehleranfällig sind und sogenannte Bias aufweisen. Der Einsatz solcher Technologien kann somit zu Diskriminierungen führen – auch im Bereich Predictive Policing. Die Grenzen algorithmenbasierter Entscheidungssysteme werden entlang des gesamten Prozesses – von der Entwicklung über die Anwendung bis zur Weiterentwicklung – sichtbar.

Bei der Entwicklung von Algorithmen werden verzerrte Daten verwendet. Dies einerseits, weil Daten nie eine Gesamtbetrachtung eines Menschen vornehmen können und andererseits, weil Daten aufgrund der verzerrten Wahrnehmung des Menschen bestehende Vorurteile übernehmen. Für die vorausschauende Polizeiarbeit sind insbesondere Daten über Straftaten relevant. Erfasst werden dabei jedoch nur Fälle, in denen Personen verurteilt oder beschuldigt wurden – nicht jedoch jede begangene Straftat. Problematisch ist dies, da bestimmte Personengruppen oder Orte übermässig häufig kontrolliert, während andere unterdurchschnittlich oft überprüft werden. So werden bspw. durch die selektive Wahrnehmung der Polizei Straftaten von Personen mit Migrationsgeschichte häufiger aufgedeckt und verfolgt als die von anderen Bevölkerungsgruppen.

Auch bei der Anwendung zeigen sich Einschränkungen. Studien haben gezeigt, dass Menschen die Ergebnisse von Computerprogrammen nur begrenzt hinterfragen und selten alternative Entscheidungen treffen (sogenannter Automation Bias). Nach Ansicht der Autorin dürfte dieser Effekt im Bereich des Predictive Policing besonders ausgeprägt sein, da es um gewichtige Schutzgüter geht und einige der komplexeren Systeme ohne spezielle Ausbildung verwendet werden. Zeigt ein Tool im Bereich der geschlechterspezifischen Gewalt beispielsweise ein hohes Eskalationsrisiko an, dürfte es schwerfallen, der eigenen abweichenden Einschätzung zu vertrauen. Hinzu kommt der mögliche Rechtfertigungsdruck, der entsteht, wenn jemand von einem algorithmischen Ergebnis abweichen möchte. Demgegenüber ist anzunehmen, dass keine Erklärung erforderlich ist, wenn die Entscheidung im Einklang mit dem Algorithmus erfolgt. Ausserdem ist zu erwarten, dass immer mehr Prognosen von Lai*innen getroffen werden, was dazu führt, dass das nötige Wissen fehlt, um die Person und die Situation umfassend zu beurteilen.

Bei der Weiterentwicklung von Algorithmen können sich bestehende Bias durch den sogenannten Feedback-Loop verstärken. Dies passiert, weil die Vorhersagen eines Systems die Daten beeinflussen, die wiederum für die Aktualisierung des Systems genutzt werden.

Fehlende unabhängige Überprüfung der Wirksamkeit

Ein zentraler Kritikpunkt an algorithmenbasierten Entscheidungssystemen – sowohl in der Schweiz als auch im Ausland – ist die fehlende unabhängige Überprüfung ihrer Effektivität. Kritisiert wird auch, dass viele dieser Instrumente ausserhalb der Schweiz entwickelt wurden. Deshalb ist unklar, ob sie ohne Anpassungen auf den Schweizer Kontext übertragbar sind. Viele in der Schweiz verwendete Tools wurden bislang nicht durch unabhängige Studien geprüft. Einzig zu den Tools PRECOBS, DyRiAS und ODARA existieren unabhängige Studien, die deren Effektivität jedoch nicht belegen konnten. Besonders DyRiAS und ODARA wurden dafür kritisiert, das Risiko einer Gewalttat stark zu überschätzen. Neben all der Kritik zum Einsatz algorithmenbasierter Entscheidungssysteme kommt hinzu, dass bis heute nicht belegt werden konnte, ob Predictive Policing überhaupt eine geeignete kriminalpräventive Methode darstellt.

Diskriminierung durch algorithmenbasierte Entscheidungssysteme

Wendet die Polizei solche algorithmenbasierte Entscheidungssysteme an, kann es zu Diskriminierungen kommen. Solche Diskriminierungen können direkt sein – etwa dann, wenn ein*e Programmierer*in ein geschütztes Diskriminierungsmerkmal (bspw. Hautfarbe oder Religion) als Variable in das System einbaut und dies zu einem nachteiligen Ergebnis führt. Das wäre etwa der Fall, wenn ein bestimmter religiöser Glaube dazu führt, dass das System Personen dieser Glaubensrichtung ein höheres Strafrisiko zuschreibt. Deutlich häufiger dürfte aber eine indirekte Diskriminierung vorliegen. In diesem Fall wird einer Entscheidung ein vermeintlich neutrales Merkmal wie z.B. der Wohnort zugrunde gelegt. Dieses Merkmal kann jedoch statistisch mit vor Diskriminierung geschützten Eigenschaften wie bspw. der Herkunft zusammenhängen, wenn etwa in einem bestimmten Stadtteil überwiegend Personen einer bestimmten Herkunft leben. Weist dieser Algorithmus dann allen Personen, die in diesem Stadtteil leben, automatisch ein höheres Risiko zu, eine Straftat zu begehen, so führt dies zu einer indirekten Diskriminierung basierend auf der Herkunft und ggf. auch der «Rasse». Solche scheinbar neutralen Variablen, die aber gleichzeitig einen Rückschluss auf ein vor Diskriminierung geschütztes Merkmal zulassen, werden Proxy-Variablen genannt. Unklar ist jedoch, ab welchem Mass an statistisch erhöhter Risikoeinschätzung aufgrund einer Proxy-Variable eine Diskriminierung angenommen werden kann. Es stellt sich also die Frage, ob bereits die Zuteilung einer um 1% höheren Wahrscheinlichkeit, eine Straftat zu begehen, als Diskriminierung gilt, oder ob eine stärkere Überproportionalität erforderlich ist. Da es hierfür – zumindest im jetzigen Zeitpunkt – keine klare gesetzliche Regelung gibt, muss diese Frage letztlich von Gerichten im Einzelfall beurteilt werden. Aus Sicht der Autorin sollte jedoch grundsätzlich gelten: Eine Diskriminierung durch ein von der Polizei angewendetes algorithmenbasiertes Entscheidungssystem verletzt das Diskriminierungsverbot, das unter anderem in Art. 8 Abs. 2 BV und Art. 14 EMRK verankert ist – selbst dann, wenn die Risikoeinschätzung aufgrund einer Proxy-Variable nur geringfügig erhöht ist. Eine Verletzung des Diskriminierungsverbots ist umso eher anzunehmen, je mehr Personen betroffen sind, je verpönter die Diskriminierung ist und je stärker das Diskriminierungsverbot – etwa durch Mehrfachdiskriminierungen – oder andere Grundrechte durch die Zuteilung eines überproportionalen Risikos oder die darauf basierenden Massnahmen verletzt werden.

Schwieriger Nachweis der Diskriminierung und «chilling effect»

Für die von Diskriminierungen betroffenen Personen wird es jedoch ein grosses Problem sein, die Diskriminierungen zu erkennen und danach zu beweisen. Besonders indirekte Diskriminierungen durch Proxy-Variablen sind schwer zu identifizieren, da keine direkte und offensichtliche Verbindung zwischen einem Merkmal und einer bestimmten Personengruppe besteht. Ebenso schwer erkennbar kann eine Diskriminierung bei komplexen und/oder nicht offengelegten Algorithmen sein. Selbst wenn jedoch ein Algorithmus veröffentlicht wird, ist es für die breite Öffentlichkeit kaum möglich, ihn ohne kostspielige Expertise zu analysieren. Ausserdem kann die Schwierigkeit, eine Grundrechtsverletzung gelten zu machen, eine Abschreckungswirkung bzw. einen Einschüchterungseffekt (sog. «chilling effect») haben. Das bedeutet, dass Menschen aus Angst vor einer (ungerechtfertigten) Erfassung durch solche Algorithmen eher ihr Verhalten anpassen, anstatt ihre Rechte einzufordern. Des Weiteren, ist aufgrund der grossen Komplexität von Algorithmen zu befürchten, dass Gerichte mögliche algorithmische Diskriminierungen nur verhältnismässig oberflächlich prüfen. Überspitzt gesagt, besteht die Gefahr, dass sie sich auf eine blosse Willkürkontrolle beschränkt, also lediglich prüfen, ob eine algorithmische Entscheidung offensichtlich unhaltbar ist, anstatt vertieft zu prüfen, ob sie diskriminierend ist.

Massnahmen zur Vermeidung von Diskriminierungen durch Algorithmen

Auf gesetzlicher Ebene sind einerseits Änderungen der Bundesverfassung (BV) erforderlich, um Diskriminierungen durch algorithmische Entscheidungssystemen effektiv vorzubeugen und Betroffenen effektiven Schutz durch das Diskriminierungsverbot zu gewähren. Da die Entscheidungssysteme häufig von Privaten entwickelt werden, wäre ein verfassungsmässiges Diskriminierungsverbot für Private angezeigt. Ebenfalls ist eine Ausweitung der heute bestehenden Diskriminierungsmerkmale erforderlich, um einen effektiven Schutz vor Diskriminierungen durch Proxy-Variablen zu gewähren. Zudem ist die verfassungsrechtliche Anerkennung von intersektionaler Diskriminierung, auch Mehrfachdiskriminierung genannt, notwendig, um anzuerkennen, dass sich Diskriminierungen durch ihre intersektionale Natur in ihrer Auswirkung und Schwere verstärken können. Auch sollte in der BV ein staatlicher Gleichstellungsauftrag zwischen rassifizierten und nicht rassifizierten Personen verankert werden, da anzunehmen ist, dass rassistische Diskriminierungen im Bereich des Predictive Policing weit verbreitet sind.

Ergänzt werden sollte der Gleichstellungsauftrag durch einen Gesetzgebungsauftrag für ein Antidiskriminierungsgesetz, das wirksam vor algorithmischen Diskriminierungen schützt. In diesem Sinne sieht der Vorschlag von humanrights.ch für ein Rahmengesetz zur Bekämpfung von Diskriminierung eine Reihe von Bestimmungen vor, die dazu beitragen, dass der Einsatz von Systemen der Künstlichen Intelligenz und algorithmische Systeme nicht zu einer direkten oder indirekten Diskriminierung von natürlichen und juristischen Personen führt. Auch sollen die Sicherheitsbehörden in zwei eigenständigen Artikeln dazu verpflichtet werden, den Grundsatz der Nichtdiskriminierung umzusetzen sowie Massnahmen zur Verhinderung und Beseitigung institutioneller Diskriminierung zu ergreifen.

In der Praxis sollten die Anwender*innen, in casu vor allem Polizist*innen, spezielle Schulungen absolvieren müssen. Aber auch Entwickler*innen und Programmierer*innen, die an der Gestaltung dieser Systeme beteiligt sind, sollten entsprechende Schulungen erhalten, um eine Sensibilisierung für Diskriminierungsrisiken und andere kritische Aspekte sicherzustellen. In diesem Zusammenhang sei betont, dass sowohl bei der Polizei als auch in Unternehmen und Universitäten die mangelnde Diversität in den Teams ein zentraler Schwachpunkt bleibt. Ein heterogeneres Team könnte nicht nur die Sensibilität für Diskriminierungen erhöhen, sondern auch zu gerechteren und inklusiveren Lösungen beitragen.

Weiter sollte eine Dokumentationspflicht gesetzlich verankert werden, welche sowohl bei der Entwicklung als auch der Anwendung greift. Sodann wäre die Veröffentlichung jährlicher Berichte über den Einsatz und die Leistung der Tools ein wirksames Mittel, um Transparenz und Verantwortlichkeit zu stärken.

Schliesslich sollten Hersteller*innen von algorithmischen Entscheidungssystemen – in der Regel private Unternehmen – gesetzlich verpflichtet werden, aktiv nach Diskriminierungen zu suchen und ihre Systeme regelmässig von unabhängigen, interdisziplinären Stellen, bestehend aus Jurist*innen und Computerwissenschaftler*innen, überprüfen zu lassen. Diese Prüfung ist staatlich zu fördern. Zudem sollten die Hersteller*innen verpflichtet werden, statistische Verfahren anzuwenden, um Verzerrungen in Trainingsdaten auszugleichen. In diesem Bereich existieren bereits mehrere vielversprechende Forschungsprojekte, die an entsprechenden Lösungen arbeiten.

Abbau von Hürden im Zugang zum Recht bei Diskriminierungen durch Algorithmen

Es ist eine Beweislastumkehr erforderlich, damit im Falle einer angeklagten Diskriminierung durch Algorithmen die Beweislast bei der die Algorithmen nutzenden Partei – im Bereich Predictive Policing also bei der Polizei – liegt. Zwar bleibt die beschwerdeführende Person in der Regel verpflichtet, einen Anfangsbeweis zu erbringen, doch die Anforderungen daran dürfen aufgrund der Komplexität von Algorithmen und des hohen Risikos algorithmischer Diskriminierung keinesfalls zu hoch sein. Zusätzlich sollte das ideelle Verbandsbeschwerderecht eingeführt werden, damit Organisationen (bspw. Vereine oder Stiftungen) zugunsten fremder Interessen Beschwerde gegen Diskriminierungen durch Algorithmen erheben können, ohne dass sie selbst von der Diskriminierung betroffen sind. Im Bereich des Predictive Policing könnte ein Gesetz (z. B. ein Antidiskriminierungsgesetz) Organisationen wie AlgorithmWatch ein allgemeines Beschwerderecht verleihen, um Diskriminierungen durch Algorithmen für andere betroffene Personen geltend zu machen. So könnte der Gefahr, dass Individuen ihre rechtlichen Ansprüche nicht wirksam durchsetzen können, effektiv entgegengewirkt werden. Weiter sollten wirksame Schutzmechanismen für Whistleblower*innen eingeführt werden.

Strukturelle Machtverhältnisse spiegeln sich in Algorithmen

Abschliessend stellt sich die Frage, wie mit der Erkenntnis umzugehen ist, dass Algorithmen diskriminieren. Wenn solche Diskriminierungen aufgedeckt werden, sollte sich die Debatte nicht nur auf technische Fehler fokussieren. Stattdessen ist ebenfalls zentral zu hinterfragen, inwiefern strukturelle Machtverhältnisse diese Diskriminierungen ermöglichen. Denn letztlich spiegeln Algorithmen gesellschaftliche Vorurteile wider, die durch verzerrte Daten und Design in die Algorithmen implementiert werden. Ein bezeichnendes Beispiel für ein diskriminierendes Entscheidungssystem ist das in den USA eingesetzte Programm namens «COMPAS», das zur Einschätzung der Rückfallgefahr von beschuldigten Personen eingesetzt wird. Studien zufolge stuft der Algorithmus BIPOC (Black, Indigenous and People of Color) beinahe doppelt so häufig fälschlicherweise als rückfallgefährdet ein wie nicht rassifizierte Personen. Damit reproduziert der Algorithmus die rassistische Annahme, dass rassifizierte Personen mit höherer Wahrscheinlichkeit erneut straffällig würden. Diese Tatsache der strukturellen Diskriminierung seitens der Behörden, die solche Entscheidungssysteme einsetzen, anzuerkennen, wäre ein erster, aber wichtiger Schritt für die Bekämpfung weiterer Diskriminierungen.

Weiterführende Literaturhinweise:

• Agentur der Europäischen Union für Grundrechte: Bias in Algorithms, Artificial Intelligence and Discrimination, 2022.
• Andreatta, Jasmin: Vorausschauende Polizeiarbeit und Racial Profiling: Diskriminierungsrechtliche Herausforderungen zwischen Chancen und Grenzen, Masterarbeit 2025.
• Gesellschaft für Informatik: Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren, 2018.
• Rath, Matthias, Krotz, Friedrich, Karmasin, Matthias (Hrsg.): Maschinenethik, Normative Grenzen autonomer Systeme, 2019 (Kapitel Rassistische Maschinen? Übertragungsprozesse von Wertorientierungen zwischen Gesellschaf und Technik, S. 121-134).
• Simmler, Monika (Hrsg.): Smart Criminal Justice, 2021.

Autorin: Jasmin Andreatta, sie hat zu diesem Thema ihre Masterarbeit verfasst.