Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.

Lücke im Recht: Vom Algorithmus diskriminiert

Von Christian Lange-Hausstein

Rosa Parks: Protest im Bus als Beginn der US-Bürgerrechtsbewegung Zur Großansicht
AP/ Montgomery County Sheriffs office

Rosa Parks: Protest im Bus als Beginn der US-Bürgerrechtsbewegung

Je mehr Daten durchs Netz fließen, desto mehr Entscheidungen werden nicht mehr von Menschen, sondern von Algorithmen gefällt. Das zeigt eine Lücke im Recht: Algorithmen können diskriminieren - ungestraft.

Jemanden zu diskriminieren bedeutet, ihn aufgrund seiner Eigenschaften zu benachteiligen. Dass Schwarze in den USA in Bussen einst hinten sitzen mussten, ist ein Beispiel für analoge Diskriminierung. Algorithmen, die Frauen Werbung für Jobs mit niedrigeren Gehältern ausspielen als Männern, sind ein Beispiel für digitale Diskriminierung.

Ein wesentlicher Gedanke des deutschen Datenschutzes scheint der digitalen Diskriminierung vorzubeugen: Der Grundsatz der Datensparsamkeit verlangt, die Verwendung von Daten über Personen so weit möglich zu vermeiden. Im Zeitalter von Big Data wirkt das fast anachronistisch, doch die Grundannahme ist naheliegend: Weniger Daten bedeuten mehr Schutz. Wenn weniger Informationen über mich verfügbar sind, bin ich auch weniger angreifbar. Für den Algorithmus sind ohne Informationen alle Nutzer gleich.

Gleichbehandlung ist eine Kategorie der Gerechtigkeit. Gerechtigkeit fordert aber nicht nur, Gleiches gleich zu behandeln. Für eine gerechte Entscheidung kann auch erforderlich sein, dass Ungleiches ungleich behandelt wird. Wenn sich ein potenzieller Kreditnehmer als Betrüger strafbar gemacht hat, wird die Entscheidung einer Bank, ihm einen Kredit nur gegen einen höheren Zins zu geben als anderen, kaum als ungerecht wahrgenommen werden.

Anders sieht es aus, wenn der gegenüber anderen höhere Zins mit der Herkunft begründet wird. Der Grund für die Ungleichbehandlung ist entscheidend. Es gibt Gründe, die wir akzeptieren - Betrug - und Gründe, für die das nicht gilt - Herkunft. Je mehr Informationen vorliegen, desto stärker kann hier differenziert werden. Schutz vor unzulässiger Ungleichbehandlung setzt danach möglichst viele Informationen voraus - ein Dilemma.

Gottgleich autarke Technologie

Die Daten, die wir über uns preisgeben, sind aber nur eine Hälfte des Problems. Institutionalisierte Diskriminierung funktioniert seit je her, indem ohne Ansehen der Person auf der Grundlage ihrer Zugehörigkeit zu einer Gruppe über sie entschieden wird. Unsere Kaufkraft wird ermittelt, indem von anderen, die uns ähneln, auf uns geschlossen wird.

Besondere Ängste rufen Schlüsse hervor, die aus der Kombination unserer Daten mit anderen Daten gezogen werden. Dabei geht es um die Verwendung von Informationen über uns, die wir gar nicht selbst bereitstellen, indem wir online ein T-Shirt von AC/DC kaufen oder einem Pornostar auf Instagram folgen.

Es geht um die aus der Kombination der Informationen über uns möglichen Rückschlüsse. Das sind die Meta-Informationen, die wir nicht kennen und nicht richtigstellen können. Das Urteil über uns wird anhand dieser Informationen ermittelt, beschlossen, verkündet und vollstreckt, Widerspruch ausgeschlossen. Die automatisierte Entscheidung über einen Menschen ist seine Algorithmus-gewordene Verdinglichung. Quasi gottgleich kann eine immer autarker werdende Technologie Entscheidungen über uns ausrechnen und uns damit in die Nähe von Dingen rücken. Das weckt Ängste vor Willkür auf einer bisher nicht gekannten Stufe.

Algorithmen entscheiden objektiv? Ein Märchen.

Dass Algorithmen objektiv entscheiden, ist dabei eine Mär. Weil sie von Menschen programmiert werden, spiegeln Algorithmen die Vorurteile ihres Programmierers. Code ist Werturteil. Algorithmen entscheiden zu lassen, ist zudem problematisch, weil sie durch Wiederholung menschlichen Verhaltens bereits vorhandene Diskriminierungen vertiefen.

Ein Beispiel: Niemand bei Google hat verfügt, dass die Suchbegriffe "Israel" und "muss" automatisch vervollständigt werden sollen mit "vernichtet" und "werden". Dennoch schlägt die Suche exakt das vor, weil Nutzer häufig diese Begriffspaare miteinander kombinieren. Das Beispiel zeigt auch, wie weit die Gefahr der blinden Diskriminierung durch Algorithmen reicht. Wenn Sie die Auto-Vervollständigung jetzt ausprobieren, perpetuieren Sie die Diskriminierung, weil dem Algorithmus - anders als dem Leser dieses Textes - nicht klar ist, mit welchem Motiv die Begriffe eingegeben werden.

Digitale Diskriminierung breitet sich aus einer Lücke heraus aus: Das Datenschutzrecht, das flächendeckend auf digitale Vorgänge angewendet wird, kennt kein allgemeines Diskriminierungsverbot. Das allgemeine Verbot der Diskriminierung, das sich im Gleichstellungsrecht findet, wird auf durch Algorithmen getroffene Entscheidungen dagegen kaum angewendet. Diese Lücke, also der Bereich der nicht sanktionierten Diskriminierung durch Algorithmen, kann nicht hingenommen werden.

Datenschutz ist nicht zum Schutz von Daten da

Angesichts des Umfangs, in dem Verantwortung mittlerweile auf digitale Entscheidungsträger übertragen wird, ist die von Algorithmen getroffene Entscheidung exakt den Maßstäben zu unterwerfen, an denen von Menschen getroffene Entscheidungen gemessen werden.

Die überwiegend technische Kontrolle des Datenschutzes muss deshalb erweitert werden um eine Kontrolle der hinter den Algorithmen stehenden Wertungen. Ressourcenschonend ist das nicht. Das Gleichstellungsrecht zeigt aber, dass es möglich ist. Angesichts des Zwecks, den Datenschutz hat, muss ein höherer Aufwand hingenommen werden.

Datenschutz ist nicht zum Schutz von Daten da, sondern zum Schutz von Menschen.

Der Autor ist Rechtsanwalt und berät im IT-Recht

Diesen Artikel...
Forum - Diskutieren Sie über diesen Artikel
insgesamt 39 Beiträge
Alle Kommentare öffnen
    Seite 1    
1. Widersprüchlich
derBob 16.03.2016
Die Schlüsse und Forderungen in diesem Artikel sind widersprüchlich. Zum einen postuliert der Autor: "Dass Algorithmen objektiv entscheiden, ist dabei eine Mär. Weil sie von Menschen programmiert werden, spiegeln Algorithmen die Vorurteile ihres Programmierers. Code ist Werturteil" Dies !kann! natürlich ohne Frage zutreffen. Weiter unten wählt der Autor jedoch das völlig gegensätzliche Beispiel der Suchvervollständigung zu "Israel". Nur ist m.E. in diesem Fall der Algorithmus tatsächlich objektiv, da hier rein numerisch die Häufigkeit ausschlaggebend ist. Hier fordert der Autor implizit sogar, dass der Code ein Werturteil fällt und damit subjektiv über die weiteren Schritte entscheidet.
2. straffreie Diskriminierung
MoorGraf 16.03.2016
im Prinzip müssten nur die Firmen, die mit den Algorithmen arbeiten, für die Folgen haftbar gemacht werden. Das könnte zum Beispiel bei einer Kreditbeurteilung bedeuten, dass eine Firma nach der digitalen Prüfung (und ggf. Ablehnung) eine zusätzliche Instanz mit einer persönlichen Prüfung nachgeschaltet wird, also ein abgelehnter Kunde dann eine Nachprüfung beantragen kann. Und bei beiden Verfahren müsste dem Kunden immer auch der Klageweg offen stehen, so dass die Firma ggf. vor Gericht belegen muss, dass zumindest bei Ausnutzung eines großzügigen Ermessensspielraums nicht nur eine reine Diskriminierung als Begründung für die Ablehnung übrig bleibt.
3. Absurditäten
sixtymirror 16.03.2016
Eingegeben: »Putin ist«. Ergebnis: »Putin ist tot«, »Putin ist der beste«. Ist dieser Wahnsinn algorithmisch lösbar? Vielleicht eher pädagogisch, ich meine dass der »User« die Fähigkeit besitzen muss, die Suchergebnisse zu bewerten und zu sortieren. Am Anfang des Prozesses steht ein Mensch, dann kommt der Algorithmus ins Spiel, und am Ende wieder ein Mensch. Leider ist die Sache aber nicht immer durchschaubar.
4. Echte Schieflage
Bernd S 16.03.2016
Ja, das ist wirklich so: In einer Stellenanzeige muss man peinlichst darauf achten, alles geschlechtsneutral zu formulieren und natürlich auch niemanden aufgrund seines Alters zu diskriminieren. Kaum eine Firma traut sich noch, bei Absagen nach einer Bewerbung überhaupt Feedback zu geben - aus Angst, bei einem nicht durch die Rechtsabteilung kontrolliertem Absagegrund gibt es gleich eine Klage wegen Verstoßes gegen das AGG. Auf der anderen Seite bekommen aber ganze Stadtteile aufgrund der Adressen schlechtere Kreditbedingungen. Und fragt man nach, dann war das eben der "Ratingalgorithmus" der aus "verschiedensten Einflussfaktoren" einen "Indexwert" errechnet. Das geht offenbar.
5. vielleicht bin ich nicht..
andreasclevert 16.03.2016
..auf der Höhe der Zeit, aber in dieser Tragweite war mir digitale Diskriminierung kein Begriff. Danke für die sachliche Aufklärung und weiter so! Ich hoffe, kein Code schlägt vor, dass Diskussionsteilnahmen in Kombination mit anderen Variablen automatisiert eine Beobachtung durch den Verfassungsschutz vorschlagen ;-)
Alle Kommentare öffnen
    Seite 1    

© SPIEGEL ONLINE 2016
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH



Netzwelt auf Twitter

Über diesen Account erreichen Sie das Ressort und verpassen keinen Artikel.



Anzeige
  • Christian Stöcker:
    Spielmacher

    Gespräche mit Pionieren der Gamesbranche.

    Mit Dan Houser ("Grand Theft Auto"), Ken Levine ("Bioshock"), Sid Meier ("Civilization"), Hideo Kojima ("Metal Gear Solid") u.v.a.

    SPIEGEL E-Book; 2,69 Euro.

  • Bei Amazon kaufen.
Der kompakte Nachrichtenüberblick am Morgen: aktuell und meinungsstark. Jeden Morgen (werktags) um 6 Uhr. Bestellen Sie direkt hier: