Diskriminierungsrisiken bei maschinellem Lernen

Von Diskriminierungsrisiken bei maschinellem Lernen spricht man, wenn Entscheidungen, die von automatisierten Systemen getroffen werden, dazu führen, dass bestimmte Bevölkerungsgruppen diskriminiert werden.

Beschreibung des Sachverhalts

Automatisierte Entscheidungen und Diskriminierung Algorithmen sind zunehmend Bestandteile von Systemen der automatisierten Entscheidung. Einige dieser Algorithmen werden durch maschinelles Lernen, als Teilbereich der künstlichen Intelligenz, mit Verwendung von Datensätzen trainiert. Algorithmen kommen dabei in vielfältigen Anwendungsfeldern zum Einsatz; so zum Beispiel bei individualisierter Werbung, bei der Personalauswahl, bei der Mieterauswahl auf dem Immobilienmarkt, bei der Ermittlung von Kreditwürdigkeit oder bei der Berechnung von Kriminalitätsrisiken.

Im Vergleich zwischen menschlichen und automatisierten Entscheidungen wird erwartet, dass automatisierte Entscheidungen „neutraler“ und „objektiver“ sind gegenüber menschlichen Entscheidungen, die aufgrund kognitiver Verzerrung bzw. selektiver Wahrnehmung anfällig sind für Vorurteile und Stereotypen. Durch automatisierte Entscheidungen können jedoch neue Diskriminierungen entstehen. Anders als bei individuellen Diskriminierungen durch z. B. einzelne Sachbearbeiter in menschlichen Entscheidungen, kann es durch die Art der Anwendung von automatisierten Entscheidungen zu Massenphänomenen und zu kumulierten Benachteiligungen kommen. Zudem können durch Entwicklungen des maschinellen Lernens Eigenschaften der Persönlichkeit (z. B. Gesundheitszustand, emotionale Zustände oder sexuelle Orientierung) aus Daten ermittelt werden. Sie können in der automatisierten Entscheidungsfindung zur Differenzierung von Personen eingesetzt werden. Ein Beispiel ist das Persönlichkeitsmerkmal „Vertrauenswürdigkeit“ bei der Bildung von Kreditscores. Während lange nur Zahlungshistorie und andere finanzielle Informationen in den Score einflossen, werden heute auch Daten über die Kommunikation und Beziehungen in sozialen Onlinenetzwerken berücksichtigt.Yildirim Wei, Dellarocas Van den Bulte (2016): Credit Scoring with Social Network Data. In: Marketing Science, 35. Jg., H. 2, S. 234–258 Dabei ist unklar, wie weitgehend derartige Analysemethoden bereits in der Praxis angewandt werden.

Statistische Diskriminierung durch den Einsatz von Algorithmen Im Gegensatz zur präferenzbasierten Diskriminierung, die sich in affektiver Zu- oder Abneigung bestimmter Gruppen oder Personen der Entscheidenden begründet, kommt es bei der Diskriminierung durch die Anwendung von Algorithmen zu statistischer Diskriminierung. Diese beschreibt die Ungleichbehandlung durch statistische Berechnungen durch den Einsatz von Ersatzinformationen. Ersatzinformationen werden dann herangezogen, wenn über das Hauptmerkmal von Personen keine Informationen vorliegen oder diese mit hohem Kostenaufwand erzeugt werden müssten. Diese Ersatzinformationen können Variablen, die geschützte Merkmale (z. B. Alter, Geschlecht) oder Variablen, die eine Korrelation zu geschützten Merkmalen aufweisen, sein und enthalten somit ein Diskriminierungsrisiko. Zusätzlich wird bei der statistischen Diskriminierung der statistische Zusammenhang zwischen Variablen einer Gruppenzugehörigkeit und dem Differenzierungsziel angenommen und generalisiert, d. h., für individuelle Gruppenzugehörige angenommen. Die Bewertungen beziehen sich damit nicht auf eine Einzelperson, sondern auf statistisch gebildete Gruppen. Es kann zu Akkumulations- und Verstärkungseffekten von Ungleichbehandlungen ganzer Bevölkerungsgruppen kommen.

Systematisierung der Diskriminierungsrisiken

Risiken der Diskriminierung bei automatisierten Entscheidungen lassen sich in folgende Punkte unterteilen:

(1) Diskriminierungsrisiken, die durch die Verwendung von Algorithmen aufgrund ihrer besonderen technischen Eigenschaften resultieren

(2) Diskriminierungsrisiken, die durch die Verwendung der algorithmen- und datenbasierten Differenzierungen und Entscheidungssysteme an sich entstehen und als gesellschaftliche Risiken auftreten.

Diskriminierung aufgrund von technischen Eigenschaften

Laut Barocas und SelbstBarocas & Selbst (2016): Big Data’s Disparate Impact, S. 677ff. lassen sich diese Diskriminierungsrisiken bei maschinellem Lernen in fünf Arten einteilen:

Zielvariablen:

Diese beschreiben das gewünschte Ergebnis. Sie definieren damit den gewünschten Endzustand (beispielsweise „gute“ Jobbewerber). Zielvariablen beinhalten Urteile darüber, welche Daten relevant sind und welche nicht. Sie bestimmen damit auch, welche Kategorien und Gruppen gebildet werden. Falls diese Gruppenbildung an zu schützende Merkmale geknüpft wird, entstehen Diskriminierungsrisiken.

Labels in Trainingsdaten:

Als Labeling wird das Zuordnen von Kategorien im Datensatz bezeichnet. Wenn das System im Prozess des maschinellen Lernens mit vorurteilsbelasteten Trainingsdaten ausgestattet wird, kann es zu diskriminierenden Ergebnissen kommen. Barocas und Selbst beschreiben zwei Möglichkeiten, wie voreingenommene Trainingsdaten diskriminierende Auswirkungen haben können. Erstens kann das KI-System auf voreingenommenen Daten trainiert werden. Zweitens können Probleme entstehen, wenn das KI-System aus einer verzerrten Stichprobe lernt.Borgesius Zuiderveen (2018): Discrimination, artificial intelligence, and algorithmic decision-making, S. 11 Ein Beispiel für entstehende Diskriminierung durch voreingenommene Trainingsdaten zeigen Bolukbasi u. a in einer Studie zur geschlechtsbezogenen Stereotypen bei maschineller Textanalyse.Chang Bolukbasi, Zou Kai-Wei, Kalai Saligrama (2016): Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings. In: Advances in Neural Information Processing Systems, S. 4349–4357 Bei einem Übersetzungsprogramm wurden Berufsbezeichnungen geschlechtsspezifisch zugeordnet, beispielsweise wurde dem Begriff „nurse“ (deutsch: Pflegekraft) die weibliche Variante „Krankenschwester“ zugeordnet. „Maschinelle Textanalysen werden in verschiedensten Anwendungen eingesetzt, wie der automatisierten Analyse von z. B. Dokumenten, Lebensläufen oder der schriftlichen Kommunikation in sozialen Netzwerken sowie der automatisierten Rangfolgenbildung bei Suchmaschinenergebnissen, Produktempfehlungen oder maschinellen Übersetzungen. Werden die so erzeugten „embedding“-Algorithmen, die stereotype Wortbeziehungen übernommen haben, dort eingesetzt, kann es zu problematischen Ergebnissen kommen, in dem Sinne, dass überkommene Geschlechterrollen fortgesetzt werden.“Orwat (2019): Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 70 (online)

Sammeln der Trainingsdaten:

Ein anderes Risiko stellt das Zusammenstellen der Trainingsdaten dar. Durch eine überproportionale Repräsentation bestimmter Gruppen, können die Ergebnisse einer Analyse der Stichprobe zugunsten oder zuungunsten der über- oder unterrepräsentierten Klasse verzerrt sein.

Feature Selection:

Bei der „Feature Selection“ werden Attribute ausgewählt, die in die Analyse eingebaut werden. Bei der Entscheidung, welche Attribute in die Entscheidungsfindung aufgenommen werden sollen, können Gruppen diskriminiert werden, wenn diese in ausgewählten Merkmalen unterrepräsentiert sind. Ein Beispiel aus dem Arbeitsmarkt: Bei Einstellungsprozessen wurde die Reputation des ausbildenden Colleges stark gewichtet, obwohl das kaum etwas über Kompetenzen der Bewerber aussagt. Minderheiten, die Colleges mit großer Reputation unterdurchschnittlich häufig besuchen, werden so durch die algorithmenbasierte Entscheidung diskriminiert.Barocas & Selbst (2016): Big Data’s Disparate Impact, S. 689

Proxies

Obwohl die ausgewählten Attribute keine diskriminierenden Effekte beinhalten, kann es trotzdem zu Diskriminierungen durch sogenannte „Proxies“ kommen, wenn zwischen diesen und geschützten Merkmalen eine Korrelation besteht. Die gewählten Merkmale sind in diesem Fall systematisch diskriminierend für Mitglieder bestimmter Gruppen, da sie neben den gewünschten Kriterien Zugehörigkeit zu Gruppen beinhalten. Laut Lehr und Ohm muss allerdings zwischen „playing with the data“ und dem laufenden System unterschieden werden. Sie kritisieren Baracos und Selbst dafür, dass sie nicht alle Stufen des maschinellen Lernens behandeln. Vor allem die mathematischen Bedingungen des Algorithmus und die damit verbundenen Möglichkeiten fehlerhafte Inputs zu korrigieren, werden von Baracos und Selbst nicht berücksichtigt. Durch den Fokus auf die Datenbeschaffung und Aufarbeitung werden aber auch Risiken übersehen, die durch die Wahl und Entwicklung eines Algorithmus entstehen.Lehr & Ohm (2017): Playing with the Data: What Legal Scholars Should Learn About Machine Learning, S. 666 ff.

Algorithmenbasierte Entscheidungen und gesellschaftliche Risiken

Neben den technischen Diskriminierungsrisiken, die in Teilen vermieden werden können, können gesellschaftliche Diskriminierungsrisiken aus der Verwendung von algorithmenbasierten Differenzierungsverfahren und automatisierten Entscheidungssystemen an sich entstehen.Orwat (2019): Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 85ff.

Gruppenzugehörigkeit und Generalisierungsunrecht Statistische Diskriminierung richtet sich gegen Personengruppen und verstellt den Blick auf Einzelfälle. So kann es durch generalisierende Vorgänge zu Unrecht kommen, da Individuen nicht in ihrer individuellen Situation und nach ihren individuellen Eigenschaften beurteilt werden.Britz (2008): Einzelfallgerechtigkeit versus Generalisierung. Verfassungsrechtliche Grenzen statistischer Diskriminierung Ein Beispiel in diesem Zusammenhang ist das Kreditscoring. In Finnland wurde 2018 von dem Nationalen Nicht-Diskriminierungs- und Gleichheitstribunal ein Fall des Kreditscorings als Diskriminierung verurteilt. Einem männlichen Antragssteller wurde durch die angewandten statistischen Verfahren eine Kreditverlängerung verweigert. Das Tribunal begründete seine Entscheidung einerseits damit, dass ein Fall von Mehrfachdiskriminierung durch die Verwendung von rechtlich geschützten Merkmalen (Geschlecht, Muttersprache, Alter und Wohnort) vorgelegen habe; anderseits bemängelte das Tribunal, dass keine Einzelfallprüfung durchgeführt wurde, sondern abstrakte Kreditdaten herangezogen wurden.Orwat (2019): Diskriminierungsrisiken durch Verwendung von Algorithmen, S. 50

Der öffentliche Sektor ist gesetzlich verpflichtet, allen Bürgern diskriminierungsfreie Dienstleistungen zu bieten. Wenn ADM-Systeme für die Verteilung von Dienstleistungen an Zivilpersonen eingesetzt werden, muss sichergestellt werden, dass sie keine Diskriminierungsrisiken bergen. Es ist jedoch keine leichte Aufgabe, diese Risiken zu minimieren. Zu den drei wichtigsten Erkenntnissen, die bei der Entwicklung von ADM-Technologien für den öffentlichen Sektor zu berücksichtigen sind, gehören die Betrachtung von ADM als fehlbar, die Berücksichtigung von Machtungleichgewichten und der Schutz von Hinweisgebern.

Akkumulations- und Verstärkungseffekte