Lücke im Recht: Vom Algorithmus diskriminiert

Je mehr Daten durchs Netz fließen, desto mehr Entscheidungen werden nicht mehr von Menschen, sondern von Algorithmen gefällt. Das zeigt eine Lücke im Recht: Algorithmen können diskriminieren - ungestraft.

Rosa Parks: Protest im Bus als Beginn der US-Bürgerrechtsbewegung

Foto: AP/ Montgomery County Sheriffs office

Jemanden zu diskriminieren bedeutet, ihn aufgrund seiner Eigenschaften zu benachteiligen. Dass Schwarze in den USA in Bussen einst hinten sitzen mussten, ist ein Beispiel für analoge Diskriminierung. Algorithmen, die Frauen Werbung für Jobs mit niedrigeren Gehältern ausspielen als Männern, sind ein Beispiel für digitale Diskriminierung.

Ein wesentlicher Gedanke des deutschen Datenschutzes scheint der digitalen Diskriminierung vorzubeugen: Der Grundsatz der Datensparsamkeit verlangt, die Verwendung von Daten über Personen so weit möglich zu vermeiden. Im Zeitalter von Big Data wirkt das fast anachronistisch, doch die Grundannahme ist naheliegend: Weniger Daten bedeuten mehr Schutz. Wenn weniger Informationen über mich verfügbar sind, bin ich auch weniger angreifbar. Für den Algorithmus sind ohne Informationen alle Nutzer gleich.

Gleichbehandlung ist eine Kategorie der Gerechtigkeit. Gerechtigkeit fordert aber nicht nur, Gleiches gleich zu behandeln. Für eine gerechte Entscheidung kann auch erforderlich sein, dass Ungleiches ungleich behandelt wird. Wenn sich ein potenzieller Kreditnehmer als Betrüger strafbar gemacht hat, wird die Entscheidung einer Bank, ihm einen Kredit nur gegen einen höheren Zins zu geben als anderen, kaum als ungerecht wahrgenommen werden.

Anders sieht es aus, wenn der gegenüber anderen höhere Zins mit der Herkunft begründet wird. Der Grund für die Ungleichbehandlung ist entscheidend. Es gibt Gründe, die wir akzeptieren - Betrug - und Gründe, für die das nicht gilt - Herkunft. Je mehr Informationen vorliegen, desto stärker kann hier differenziert werden. Schutz vor unzulässiger Ungleichbehandlung setzt danach möglichst viele Informationen voraus - ein Dilemma.

Gottgleich autarke Technologie

Die Daten, die wir über uns preisgeben, sind aber nur eine Hälfte des Problems. Institutionalisierte Diskriminierung funktioniert seit je her, indem ohne Ansehen der Person auf der Grundlage ihrer Zugehörigkeit zu einer Gruppe über sie entschieden wird. Unsere Kaufkraft wird ermittelt, indem von anderen, die uns ähneln, auf uns geschlossen wird.

Besondere Ängste rufen Schlüsse hervor, die aus der Kombination unserer Daten mit anderen Daten gezogen werden. Dabei geht es um die Verwendung von Informationen über uns, die wir gar nicht selbst bereitstellen, indem wir online ein T-Shirt von AC/DC kaufen oder einem Pornostar auf Instagram folgen.

Es geht um die aus der Kombination der Informationen über uns möglichen Rückschlüsse. Das sind die Meta-Informationen, die wir nicht kennen und nicht richtigstellen können. Das Urteil über uns wird anhand dieser Informationen ermittelt, beschlossen, verkündet und vollstreckt, Widerspruch ausgeschlossen. Die automatisierte Entscheidung über einen Menschen ist seine Algorithmus-gewordene Verdinglichung. Quasi gottgleich kann eine immer autarker werdende Technologie Entscheidungen über uns ausrechnen und uns damit in die Nähe von Dingen rücken. Das weckt Ängste vor Willkür auf einer bisher nicht gekannten Stufe.

Algorithmen entscheiden objektiv? Ein Märchen.

Dass Algorithmen objektiv entscheiden, ist dabei eine Mär. Weil sie von Menschen programmiert werden, spiegeln Algorithmen die Vorurteile ihres Programmierers. Code ist Werturteil. Algorithmen entscheiden zu lassen, ist zudem problematisch, weil sie durch Wiederholung menschlichen Verhaltens bereits vorhandene Diskriminierungen vertiefen.

Ein Beispiel: Niemand bei Google hat verfügt, dass die Suchbegriffe "Israel" und "muss" automatisch vervollständigt werden sollen mit "vernichtet" und "werden". Dennoch schlägt die Suche exakt das vor, weil Nutzer häufig diese Begriffspaare miteinander kombinieren. Das Beispiel zeigt auch, wie weit die Gefahr der blinden Diskriminierung durch Algorithmen reicht. Wenn Sie die Auto-Vervollständigung jetzt ausprobieren, perpetuieren Sie die Diskriminierung, weil dem Algorithmus - anders als dem Leser dieses Textes - nicht klar ist, mit welchem Motiv die Begriffe eingegeben werden.

Digitale Diskriminierung breitet sich aus einer Lücke heraus aus: Das Datenschutzrecht, das flächendeckend auf digitale Vorgänge angewendet wird, kennt kein allgemeines Diskriminierungsverbot. Das allgemeine Verbot der Diskriminierung, das sich im Gleichstellungsrecht findet, wird auf durch Algorithmen getroffene Entscheidungen dagegen kaum angewendet. Diese Lücke, also der Bereich der nicht sanktionierten Diskriminierung durch Algorithmen, kann nicht hingenommen werden.

Datenschutz ist nicht zum Schutz von Daten da

Angesichts des Umfangs, in dem Verantwortung mittlerweile auf digitale Entscheidungsträger übertragen wird, ist die von Algorithmen getroffene Entscheidung exakt den Maßstäben zu unterwerfen, an denen von Menschen getroffene Entscheidungen gemessen werden.

Die überwiegend technische Kontrolle des Datenschutzes muss deshalb erweitert werden um eine Kontrolle der hinter den Algorithmen stehenden Wertungen. Ressourcenschonend ist das nicht. Das Gleichstellungsrecht zeigt aber, dass es möglich ist. Angesichts des Zwecks, den Datenschutz hat, muss ein höherer Aufwand hingenommen werden.

Datenschutz ist nicht zum Schutz von Daten da, sondern zum Schutz von Menschen.

Der Autor ist Rechtsanwalt und berät im IT-Recht