Digitale Plattformen Wer nur zurückschaut, schafft keine gute Zukunft

Die algorithmischen Aufmerksamkeitsverteiler aus dem Silicon Valley gelten als Könige der Innovation. Ihre Maschinen aber sind auf den Blick nach hinten programmiert - und fördern so Diskriminierung.

Eine Kolumne von


iStockphoto/ Getty Images

"Wenn wir uns Stereotypen bedienen, nehmen wir Geschlecht, Alter und Hautfarbe unseres Gegenübers wahr, und unser Geist reagiert mit Botschaften wie feindselig, dumm, langsam, schwach. Diese Eigenschaften sind nicht da draußen in der Umwelt. Sie spiegeln nicht die Realität wider."

Sozialpsychologe John Bargh

Entgegen der landläufigen Meinung sind Stereotypen oder ihre harmloseren Verwandten, Kategorien, manchmal nützlich. Sie sind Abkürzungen. Sie helfen uns im besten Fall, in sozialen Situationen das Richtige zu tun.

Wenn Sie zum Beispiel im Zug gern möchten, dass Ihnen jemand Ihren schweren Koffer auf die Gepäckablage wuchtet, werden Sie vermutlich eher den 1,90 Meter großen jungen Mann bitten als die zart wirkende Dame. Das ist nicht sexistisch, obwohl es ja durchaus sein könnte, dass die zart wirkende Dame eine extrem kräftige Weltklasseathletin ist. Es ist aber eben nicht sehr wahrscheinlich.

Solche in der Regel völlig unbewusst aktivierten Vorurteile helfen uns, die furchtbar komplexe Welt für uns einfacher zu machen. Im Idealfall. Oft sind sie aber sehr problematisch.

Diese Abkürzungen verändern sich über die Zeit, zum Glück. Vor 150 Jahren hätte das Stereotyp kategorisch ausgeschlossen, dass eine Frau Ärztin oder ein Schwarzer Präsident der USA sein könnte. Damals war die Welt schlechter als heute. Schon deshalb ist der "früher war alles besser"-Fraktion grundsätzlich zu misstrauen.

Eine bessere Welt

Schädlich werden Stereotype, wenn sie dazu führen, dass einzelne Menschen oder ganze Gruppen benachteiligt und schlechter behandelt werden. Wenn sie für bestimmte Jobs nicht einmal in Erwägung gezogen werden; die Wohnung nicht bekommen, zu Unrecht verdächtigt, abgelehnt, womöglich beschimpft werden. Oder noch Schlimmeres.

Wenn das passiert, schaden Stereotype nicht nur den Betroffenen. Sie verhindern auch eine wünschenswerte gesellschaftliche Entwicklung. Eine Welt, in der Menschen ohne Ansehen von Hautfarbe, Geschlecht, Alter und so weiter sein und werden können, was sie wollen, die nötigen Begabungen vorausgesetzt. Das ist eine bessere Welt.

Diese Erkenntnis ist nicht neu, sie ist schon in der allgemeinen Erklärung der Menschenrechte von 1948 nachzulesen.

Es gibt aber gesellschaftliche Gruppierungen, die sie bis heute nicht akzeptieren wollen. Sogenannte Antifeministen zum Beispiel. Leute, die behaupten, Frauen könnten eben einfach keine Mathematik. (Wie viele Männer kennen Sie, die miserabel in Mathematik sind?) Leute, für die Ärzte männlich und Pflegekräfte weiblich zu sein haben. Leute, die an den Unsinn von der "Überlegenheit der weißen Rasse" glauben (wollen). Und so weiter.

Eine Welt, in der Stereotype dauerhaft sind, wäre völlig statisch

Die Konflikte zwischen solchen Gruppierungen und dem Rest der Menschheit bilden den Kern vieler der politischen Verwerfungen der Gegenwart. Am Ende geht es immer um den Wunsch, die eigenen Stereotype zur allgemeingültigen, ewigen Wahrheit zu erklären. Was dem Wesen des Stereotyps an sich widerspricht: Es ist ja ein auf einer relativ dünnen Datenbasis zusammengestricktes bisschen statistische Inferenz. Deshalb ändern sich mit der Welt auch die Stereotype, nur oft etwas langsamer.

Eine Welt, in der Stereotype ewige Wahrheiten sind, wäre vollkommen statisch. In so einer Welt leben wir aber nicht. Permanente Veränderung ist das Wesen allen Seins. Zum Glück, denn sonst gäbe es uns Menschen gar nicht.

Wer Stereotype dauerhaft fortschreiben möchte, will bestehende Machtverhältnisse zementieren und gleichzeitig diese fundamentale Wahrheit - den ewigen, ständigen Wandel - leugnen.

Facebooks Maschine weiß, welcher Job zu Schwarzen passt

Womit wir wieder einmal bei Facebook und Google wären. Diese Woche wurde eine Studie veröffentlicht, die zeigt, wie Facebooks Systeme zur Verteilung von Werbung automatisch Stereotype bedienen. Stellenangebote für Holzfällerjobs wurden überwiegend weißen Männern gezeigt, Taxifahrerjobs überwiegend schwarzen Nutzerinnen und Nutzern, Stellen an der Supermarktkasse überwiegend Frauen. Obwohl die Forscher von zwei US-Universitäten, die die Anzeigen selbst geschaltet hatten, keinerlei Angaben zur gewünschten Zielgruppe gemacht hatten. Facebooks Anzeigensystem entscheidet also autonom, wer am ehesten für welche Jobs infrage kommt.

Geradezu gruselig mutet ein zweites Ergebnis an, eines mit für Menschen unsichtbaren Bildern: Dafür haben die Forscher Anzeigen per Bildbearbeitung so verändert, dass dem menschlichen Auge nur weiße Flächen angezeigt werden. Für eine Bilderkennungssoftware waren auf den Flächen jedoch Fotos zu erkennen. Entweder von stereotyp "männlichen" Themen - Football, Kampfsport. Oder von stereotyp "weiblichen" Themen - Modefoto, Rose.

Prompt zeigte Facebook die Anzeigen mit "männlichen" Bildern überwiegend Männern, die mit "weiblichen" überwiegend Frauen. Anders als wir Menschen kann die Software, die für Facebook Bilder in Anzeigen analysiert, die Rose sehen - und entscheidet dann offenbar, dass das jetzt aber mal eher ein Bild für Frauen ist. Auch wenn die Frauen dann gar nichts sehen.

Lernende Systeme lernen aus der Vergangenheit

Es nicht schwierig zu erraten, wie diese Verzerrungen zustande kommen. Facebooks Werbemaschinerie ist ein lernendes System. Es schließt aus den Daten, die es in der Vergangenheit gesammelt hat, auf das, was in der Zukunft geschehen wird. Konkret: Wenn mehr Frauen auf Stellenanzeigen für Jobs an der Supermarktkasse geklickt haben, bekommen in Zukunft mehr Frauen solche Anzeigen zu sehen. Wenn Frauen öfter auf Rosen klicken, zeigt man ihnen auch die unsichtbare Rose.

Das bringt zwei Probleme mit sich.

Erstens könnte es sein, dass diese Praxis zumindest in den USA illegal ist: Dort gab es noch in den Siebzigerjahren Stellenanzeigen, die sich explizit nur an Männer oder Frauen wandten. Längst gilt so etwas als illegale Diskriminierung. Wegen ähnlich gelagerter Fälle hat Facebook in den USA gerade Ärger mit Behörden und Gerichten.

Zweitens: Solche lernenden Systeme perpetuieren Stereotype. Die Grundannahme ist immer die gleiche: Was in der Vergangenheit funktioniert hat, wird auch in Zukunft funktionieren. Schwarze werden weiterhin Taxifahrer, weiße Männer bestimmt Holzfäller oder - auch das kommt in der Studie vor - Forscher im Bereich künstliche Intelligenz.

Die Welt von morgen auf Basis von gestern gestalten?

Aus Sicht der Unternehmen ist diese Art der Inhaltesortierung völlig rational: Lief letztes Mal gut, machen wir wieder so. Wenn aber ein Inhaltesortiersystem, das das Weltbild von zwei Milliarden Menschen mitbestimmt, aus Prinzip die Welt von gestern als Vorbild für die Welt von morgen heranzieht, ist das für den gesellschaftlichen Fortschritt nicht ideal.

Sortieralgorithmen basieren auf deskriptiven Daten: Darauf haben viele Leute geklickt, das haben sie kommentiert oder darauf reagiert, dieses Video angesehen und so weiter. Aus diesen deskriptiven Daten werden dann normativ wirkende Empfehlungen abgeleitet: Das hier sollten Sie lesen, das hier wird Sie interessieren, das hier ist die beste Antwort auf Ihre Suchanfrage. Auch wenn es vielleicht eine Holocaustleugner-Seite ist. Die Maschine kennt den Inhalt ja nicht, nur die Quote.

Gebäude würden mit Asbest gebaut

Wenn man aus dem Verhalten der Vergangenheit Empfehlungen für Gegenwart und Zukunft ableitet, geht das leicht schief. Würden wir als Gesellschaften so handeln, gäbe es noch die Prügelstrafe, Frauen dürften nicht wählen, in Zügen und Flugzeugen würde geraucht, Gebäude würden mit Asbest gebaut, Homosexualität wäre illegal.

Innovation und Relevanz entstehen nicht auf der Basis der Interessen von gestern. Manchmal dauert es viele Jahre, bis die überdauernde Relevanz des nach aktuellen Maßstäben Uninteressanten sichtbar wird: Vincent van Gogh, Robert Musil oder Ada Lovelace hätten zu diesem Thema sicher einiges zu erzählen.

Wer nur zurückschaut, wird keine gute Zukunft schaffen.

Mehr zum Thema
Newsletter
Kolumne - Der Rationalist


insgesamt 40 Beiträge
Alle Kommentare öffnen
Seite 1
hefe21 07.04.2019
1. Küchenpsychologie
Das ist zwar gesellschaftspolitisch nicht brisant, aber ich "geniesse" es jedesmal, wenn ich noch wochenlang nach jedem Onlinekauf exakt dieselbe Warengruppe "zugespielt" bekomme. Also hier ein Gratistipp an die Programmierer des Rithmus, zum dem ich Algo immer mitmuss: wenn jemand ein Küchenunterbauradio kauft (weil der Stationäreinzelhandel sowas aussortiert hat) dann besser nicht davon ausgehen, dass der Käufer mehrere Küchen besitzt. Selbst eine Kochlöffelanzeige wäre da in Folge zielgerichteter.
snoook 07.04.2019
2. Einfach nur trivial oder Absicht?
Erstens denke ich mal, dass die Algorithmen dieser Seuten eben doch nicht so ausgefuchst sind, wie wir alle denken. Wo viele vok Ki reden, ist es oft eben dann doch nur Statistik nach dem hier beschriebenen „hat dich schon immer funktionier“. Zweitens werden die Facebooks dieser Welt nach Views bzw. klicks bezahlt. Und nur wenn sie effizient genug sind, lohnt sich die Werbung für den Auftaggeber. Egal wie „offen“ sich FB gibt, der Auftraggeber würde FB schon was erzählen, würde die Anzeige einfach in allen Profilen geschaltet. Könnte man also Schlussfolgern: Die Anzeigenschaltet sind schuld! Natürlich bleibt auch ohne das genug Raum für Antifeminismus-Theorien...
napoleonwilson 07.04.2019
3. Diskriminierung...
Ist es diskriminierend, wenn ich mir als Mann einen weiblichen Assistenten wünsche ? Wird nun die Frau diskriminiert, für die Art der Tätigkeit oder der Mann, weil er ausgeschlossen wurde ? Als Leiter oder Inhaber darf ich mir den oder die Bewerber doch noch aussuchen, oder mache ich mich strafbar ? Was für ein Welt....
Stäffelesrutscher 07.04.2019
4.
»Wenn Sie zum Beispiel im Zug gern möchten, dass Ihnen jemand Ihren schweren Koffer auf die Gepäckablage wuchtet, werden Sie vermutlich eher den 1,90 Meter großen jungen Mann bitten als die zart wirkende Dame. Das ist nicht sexistisch, obwohl es ja durchaus sein könnte, dass die zart wirkende Dame eine extrem kräftige Weltklasseathletin ist. Es ist aber eben nicht sehr wahrscheinlich.« Wie groß soll denn die »zart wirkende Dame« sein? So groß wie Greta Thunberg und Susi Kentikian? Dann hat es nix mit Stereotyp zu tun, wenn man jemanden mit 1,90 m statt 1,55 m darum bittet, den Koffer in die auf 2 m Höhe angebrachte Gepäckablage zu wuchten, sondern mit derselben praktischen Erwägung, die einen bei einem Schaden am Vergaser zum Autohändler und nicht zum Fahrradhändler führt. Ein Stereotyp wäre es, wenn Sie Philipp Lahm (1,70 m) und Lena Goeßling (1,71 m) vor sich haben oder Joachim Löw und Katrin Krabbe (beide 1,82 m) - und jedes Mal die Männer bitten zuzulangen. Weitere Frage: Kommt die Software alleine auf die hier vorgestellte Idee - oder gab es da mal jemanden, der ihr diese Funktion einprogrammiert hat?
Igelnatz 07.04.2019
5. leave the church in the village
Mal halblang! Wie Herr Stöcker schreibt, gibt es viele Stereotype und nicht alle passen und sind vielleicht diskriminierend. Dennoch kann man sie durchbrechen und sie werden auch durchbrochen! Nur eines wird es nie geben - eine Welt, die absolut gerecht und gleich zu jedem sein wird! Das ist ein Mythos!
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2019
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung


TOP
Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.