Schutz vor digitaler Diskriminierung
Algorithmische Entscheidungen werden unter anderem zunehmend bei Bewerbungsverfahren, Bankkrediten oder Versicherungen eingesetzt. Wer hierdurch eine Diskriminierung erfährt, hat oft Schwierigkeiten dies nachzuweisen. Die Unabhängige Bundesbeauftragte für Antidiskriminierung, Ferda Ataman, schlägt daher Auskunftspflichten und eine Schlichtungsstelle vor.
Diskriminierung: Auch wenn ein Algorithmus Entscheidungen vorbereitet, können sich Fehler einschleichen.
Ziel ist es, den Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme zu verbessern. Denn bisher sei unklar, was passiert, wenn eine Benachteiligung nicht von einem Menschen, sondern von einem Algorithmus ausgeht, erläutert die Antidiskriminierungsstelle des Bundes in einer Meldung.
Das von der Unabhängigen Bundesbeauftragten Ataman vorgestellte Rechtsgutachten „Automatisch benachteiligt – Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme“ sieht in der Fehleranfälligkeit automatisierter Entscheidungssysteme ein zentrales Problem: Die Qualität digitaler Entscheidungen hänge wesentlich von den Daten ab, die in das System eingespeist werden. Ob diese fehlerfrei sind oder für ihren Zweck überhaupt geeignet waren, sei in der Regel weder für die Verwender noch für die Adressaten der Systeme nachvollziehbar. Den Betroffenen sei häufig gar nicht bewusst, dass ein KI-System zum Einsatz gekommen ist. Zudem seien Informationen über die Arbeitsweise der Systeme in der Regel nicht zugänglich. Somit seien die Möglichkeiten, Diskriminierungen durch KI-Systeme zu erkennen und gegen sie vorzugehen, stark eingeschränkt.
Das Gutachten kommt zu dem Ergebnis, dass Regelungslücken im Allgemeinen Gleichbehandlungsgesetz (AGG) verhindern, dass der bestehende Rechtsschutz bei Diskriminierungen durch KI-Systeme wirkt. Ataman schlägt daher vor, den Schutz vor KI-basierter Diskriminierung im AGG zu verankern, um Betroffene besser zu schützen. Zwar werde auf EU-Ebene bereits eine Regulierung von KI vorbereitet, „den Schutz der Grundrechte nimmt sie uns aber nicht ab. Dafür werden wir auch hier in Deutschland an den richtigen Stellschrauben drehen müssen, zum Beispiel im AGG“, sagt Ataman.
Konkret nennt die Unabhängige Bundesbeauftragte:
– Die Erweiterung des Anwendungsbereichs des AGG. Künftig sollte „Handeln durch automatisierte Entscheidungssysteme“ als Benachteiligung in § 3 AGG aufgenommen werden.
– Auskunfts- und Offenlegungspflichten von Betreibern von KI-Systemen, um einen Einblick in die genutzten Daten und in die Funktionsweise des Systems zu ermöglichen.
– Die Einrichtung einer unabhängigen Schlichtungsstelle bei der Antidiskriminierungsstelle des Bundes sowie die Regelung eines verpflichtenden Schlichtungsverfahrens im AGG.
– Anpassung der Beweislastregel: Bislang müssen Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die „Black Box“ digitaler Entscheidungen nicht hineinschauen. Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben. Ähnliche Regelungen zur Beweislasterleichterung stehen bereits in den EU-Richtlinien zum Schutz vor Diskriminierung und in der von der EU-Kommission vorgeschlagenen KI-Haftungsrichtlinie. chk
Diskriminierung durch KI
Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz (KI) Entscheidungen, indem sie Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen treffen. Dies kann automatisch Vorurteile und Stereotype reproduzieren. Die Unabhängige Bundesbeauftragte verweist auf das Beispiel Niederlande. In der dortigen „Kindergeldaffäre“ wurden im Jahr 2019 zu Unrecht mehr als 20.000 Menschen unter hohen Strafandrohungen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich war ein diskriminierender Algorithmus in der Software, betroffen waren vor allem Menschen mit doppelter Staatsbürgerschaft. Die Affäre führte 2021 zum Rücktritt der Regierung. In den USA benachteiligten fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe, in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssystems hunderttausende Sozialhilfeempfänger Geld zurückzahlen („Robodebt“-Skandal). Das Muster war dabei stets das gleiche: Für die Betroffenen war es kaum nachvollziehbar, wie die Entscheidungen zustande kamen. Und die Verursachenden – staatliche Stellen ebenso wie Unternehmen – verließen sich auch dann noch auf die automatisierten Entscheidungssysteme, als längst klar war, dass sie fehlerhaft waren.
