Künstliche Intelligenz Wie viel Rassismus steckt in Algorithmen?

Mutale Nkonde ist Forscherin und kämpft gegen Rassismus im Zeitalter künstlicher Intelligenz. Ihre bisherige Bilanz für die Tech-Branche ist vernichtend.

Mutale Nkonde erforscht, wie Technologie Rassismus reflektiert - und was sich dagegen tun lässt
#womenofcolortechchat

Mutale Nkonde erforscht, wie Technologie Rassismus reflektiert - und was sich dagegen tun lässt

Ein Interview von


Die Forscherin Mutale Nkonde, derzeit Fellow am New Yorker Forschungsinstitut Data & Society, kämpft mit ihrem Projekt "Racial Literacy in Tech" zusammen mit anderen Wissenschaftlern gegen Rassismus, der durch Algorithmen und andere Technologien verstärkt wird.

"Gesichtserkennungsalgorithmen sind darauf trainiert, weiße Gesichter zu erkennen, Flughafen-Scanner verstehen schwarze Frisuren nicht, Kreditwürdigkeits-Scores sind mit rassistisch getrennten Nachbarschaften korreliert und Daten für das Predictive Policing (vorausschauende Polizeiarbeit) werden von rassistischen Vorurteilen geplagt", heißt es in ihrem Forschungsbericht "Advancing Racial Literacy in Tech". "Ohne eine bewusste Anstrengung, Rassismus in Technologie anzugehen, ist es unvermeidlich, dass neue Technologien alte Trennungen replizieren."

Auf der Disruption Network Lab Konferenz "AI Traps - Automating Discrimination" an diesem Wochenende in Berlin wird Nkonde über Rassismus im Zeitalter künstlicher Intelligenz sprechen. SPIEGEL ONLINE hat sie vorab interviewt.

Zur Person
    Mutale Nkonde forscht als Fellow des Data and Society Research Institute in New York City zu Rassismus, Technologie und Politik. Sie arbeitet seit 2016 als Tech-Beraterin für die demokratische Kongressabgeordnete Yvette Clarke und entwickelt Strategien, um Algorithmen besser zu kontrollieren.

SPIEGEL ONLINE: Sie untersuchen, wie Rassismus in neuen Technologien zutage tritt. Was erkennen Sie da und was muss sich ändern?

Mutale Nkonde: Die Bürgerrechte brauchen ein Update für die Ära der künstlichen Intelligenz. In New York will ein privater Vermieter in Sozialwohnungen zum Beispiel Schlüssel gegen Gesichtserkennungssoftware austauschen. Davon sind arme, schwarze Menschen betroffen, die in Brownsville leben, einem Viertel mit historisch hohen Kriminalitäts- und Gewaltraten. Sie müssen die Überwachung akzeptieren - oder sie verlieren ihre Wohnung. Das ist nicht nur eine Verletzung von New Yorker Mietgesetzen, es werden auch ohne jegliche Kontrolle biometrische Daten gesammelt.

SPIEGEL ONLINE: Gesichtserkennung verbreitet sich nicht nur in schwarzen Communities.

Nkonde: In diesem Fall sollen die Gesichtserkennungssysteme für Wohnungen nur in schwarzen Nachbarschaften eingesetzt werden, nicht auf der Upper East Side, wo Menschen wie Donald Trump wohnen. Von den Negativ-Effekten von Technologie sind oft Communitys betroffen, die schon immer Ziel von Überwachung waren und unter Generalverdacht standen. Das reicht in den USA bis in die Sklavenzeit zurück. Algorithmische Entscheidungsfindungen bei Jobbewerbungen oder in der Strafjustiz oder auch Gesichtserkennung sind die neuen Varianten dieses Systems.

SPIEGEL ONLINE: Wie viel Rassismus steckt in Algorithmen oder den ihnen zugrunde liegenden Daten?

Nkonde: "ProPublica" hat etwa nachgewiesen, dass Afro-Amerikaner höhere Risikobewertungen erhalten als weiße Kriminelle. Es wird also eher davon ausgegangen, dass sie erneut straffällig werden, was sich wiederum auf die Strafe auswirkt. In der New Yorker Datenbank zu kriminellen Gangs sind vor allem junge schwarze Männer oder Latinos erfasst. Es reicht schon aus, auf demselben Foto wie ein Gangmitglied aufzutauchen, sich im selben Gebäude aufzuhalten oder eine bestimmte Farbe zu tragen.

SPIEGEL ONLINE: Weil die Farben mit Gangs assoziiert werden?

Nkonde: Menschen haben in anderen Vierteln das Recht, Rot, Blau, Grün zu tragen, ganz wie sie wollen. Aber wer in einer armen Nachbarschaft wohnt und eine bestimmte Farbe trägt, wird einer Gang zugerechnet, selbst wenn er nicht kriminell ist. Und wer in der Gangdatenbank erfasst wurde, erfährt es nicht einmal. Du hast keine Chance, deinen Namen wieder aus der Datenbank entfernen zu lassen und wirst schlimmstenfalls einfach verhaftet, ohne zu wissen, warum.

SPIEGEL ONLINE: Die Daten werden dann in anderen Systemen wie Predictive Policing weiterverwertet.

Nkonde: Die Betroffenen wissen nicht, wer alles Daten aufnimmt, was mit den Daten passiert und ob sie mit Polizei- oder Immigrationsbehörden geteilt werden. Die New Yorker Polizei hat etwa Mugshots, Fotos von Verdächtigen, an IBM verkauft, damit die ihre Datenbanken erweitern konnten.

SPIEGEL ONLINE: Beobachten Sie, dass sich die betroffenen Communitys inzwischen stärker organisieren?

Nkonde: Was sich geändert hat: Überwachungstechnologie wird heute zunehmend auch gegen weiße Menschen eingesetzt. Sie wurden durch Skandale wie Cambridge Analytica aufgerüttelt und wissen jetzt, dass sich Technologie auch gegen sie richten kann und dass ihre Daten missbraucht werden können. Dadurch wird nun auch die Stimme von Aktivisten gehört, die sich seit Jahren für diese Themen stark gemacht haben - meistens weiße, liberale Personen. Der schwarzen Community hört dagegen niemand zu.

SPIEGEL ONLINE: Was muss geschehen, damit die Perspektiven schwarzer Menschen sichtbarer werden?

Nkonde: Wir müssen "Racial Literacy" erreichen. Es muss ein Bewusstsein für Rassismus entstehen - und weiße Menschen müssen damit klarkommen, dass es unbequem ist, über Rasse zu sprechen. Ich verstehe Literacy als Fähigkeit, die sich weiterentwickelt und die man üben muss, wenn man nicht gut darin ist.

SPIEGEL ONLINE: Welche Note würden Sie an Tech-Firmen in punkto "Racial Literacy" vergeben?

Nkonde: Für unseren Bericht haben wir acht Monate lang geforscht und dabei auch rund 20 Angestellte interviewt, die in allen möglichen großen Tech-Firmen aus dem Silicon Valley arbeiten. Manche hatten das Gefühl, dass Rassismus nichts mit ihrer Arbeit zu tun habe, weil sie nur Entwickler seien. Sie argumentierten etwa, sie seien farbenblind. Das Problem: Wer das behauptet, hat auch nicht den Anspruch, etwas zu verbessern.

SPIEGEL ONLINE: Gab es auch positive Tendenzen?

Nkonde: Manche wollen anders über das Problem reden, weil sie glauben, dass der Begriff "Diversity" nicht spezifisch genug ist. Sie wollen die Kultur verändern, so dass über "Rasse" gesprochen werden kann und Menschen tatsächlich als "weiß" oder "schwarz" gelabelt werden. Es herrscht große Angst, Klartext zu reden.

SPIEGEL ONLINE: Wollen sich die Firmen auch von innen verändern - indem sie etwa schwarzen Nachwuchs stärker fördern?

Nkonde: Was das Recruiting betrifft, bin ich sehr enttäuscht. Ich bin Googles Machine Learning Team durchgegangen und habe nur einen schwarzen Mann und eine schwarze Frau gefunden - unter 893 Mitarbeitern. Es sind kaum schwarze Menschen an der Entwicklung und Erforschung künstlicher Intelligenz beteiligt, die Quoten schwarzer Mitarbeiter bei Tech-Unternehmen sind gering.

SPIEGEL ONLINE: Was würden Sie Tech-Konzernen raten?

Nkonde: Die Unternehmen sollten über Racial Literacy nachdenken, aber sie brauchen auch eine greifbare Politik. Wir entwickeln gerade ein Assessment-Tool, das messen soll, ob es eine konkrete Strategie gibt. Gibt es einen Plan, um bestimmte Communitys zu erreichen und Rassismus-Probleme anzugehen? Wie sehr steht eine Firma dahinter? Ist der Plan finanziert, und wie lange? Es ist ein Langzeitprojekt.



insgesamt 62 Beiträge
Alle Kommentare öffnen
Seite 1
patriae. 15.06.2019
1. Oh man..
Algorithmen, künstliche Intelligenzen, Bots können nicht rassistisch sein. Ist unmöglich, entweder müsste man sie rassistisch programmieren oder man tut das nicht und dann sind sie es auch nicht. Programme sind die mit Abstand rationalsten und objektivsten Dinge, die es gibt - sie haben weder Vorlieben noch Gefühle. Alles was sie tun, beziehen sie aus Daten. Mehr nicht.
Jörg-Detlef 15.06.2019
2. US-amerikanischer Rassismus in Algorithmen
Ich kann in Frau Mutale Nkondes Erkenntnissen nicht den wissenschaftlichen Ansatz finden. Ihre Feststellungen mögen durchaus Wissenswertes vermitteln, aber Interviews mit 20 Angestellten aus dem Silicon Valley mögen in den Vereinigten Staaten als Forschungstätigkeit anerkannt werden, in Deutschland wie in Europa sind die Maßstäbe dafür andere. Ich sehe auch nicht, wo in dem Beitrag es um künstliche Intelligenz geht. Algorithmen bedient man sich schon seit Jahrzehnten, sinnvoll, weniger sinnvoll und auch in geradezu menschenverachtender Art und Weise. Da mögen rassistische Diskriminierungen vorkommen wie Diskriminierungen aller Art. Ich kann mir beim allerbesten Willen nicht vorstellen, dass gewisse neuere Technologien US-amerikanischen Rassismus fördern. Auch kann ich in dem Spiegel-Artikel keinen Hinweis darauf finden.
nobody_incognito 15.06.2019
3.
Zitat von patriae.Algorithmen, künstliche Intelligenzen, Bots können nicht rassistisch sein. Ist unmöglich, entweder müsste man sie rassistisch programmieren oder man tut das nicht und dann sind sie es auch nicht. Programme sind die mit Abstand rationalsten und objektivsten Dinge, die es gibt - sie haben weder Vorlieben noch Gefühle. Alles was sie tun, beziehen sie aus Daten. Mehr nicht.
Die Algorithmen arbeiten nach statistischen Wahrscheinlichkeiten. Aber das ist im Prinzip dasselbe wie rassistische Vorurteile, weil jedes Individuum individuell zu betrachten wäre. Außerdem sind nichtmal Begriffe wie "Kriminalität" objektiv definiert, Machtmissbrauch im gesetzestreuen Amt könnte man genauso dazu zählen, wird aber wohl nicht, weil die Algorithmen den "Ämtern" dienen sollen. Letztendlich ist jeder für sein Seelenheil selbst verantwortlich und das ist der einzig wirklich denkbar objektive Algorithmus.
ldom 15.06.2019
4. "Rassismus durch Algorithmen"
Irgendwie sieht es so aus als hätte die Frau die Technik bei dem Thema nicht ganz verstanden. ML kann man vereinfacht als spezielle Form von Statistik sehen. Die eingesetzten Algorithmen lernen aufgrund von Daten und sind allgemeingültig. D.h. die Algorithmen kennen die Kategorie Hautfarbe nicht. Die Hautfarbe kann aber in den eingegeben Daten vorkommen und werden dann von den Algorithmen "unbestechlich" verarbeitet. Man könnte natürlich sowohl die Algorithmen als auch die Daten manipulieren. Das macht aber keinen Sinn weil man dann falsche Ergebnisse bekommen würde d.h. der gesamte Aufwand neue Erkenntnisse oder Entscheidungen zu bekommen wäre für die Katz. Das die Erkenntnisse oder Entscheidungen dann im zweiten Schritt von Menschen tendenziell bewertet werden ist ein anderes Thema. Aber die Algorithmen sind nicht schuld.
syracusa 15.06.2019
5.
Zitat von ldomIrgendwie sieht es so aus als hätte die Frau die Technik bei dem Thema nicht ganz verstanden. ML kann man vereinfacht als spezielle Form von Statistik sehen. Die eingesetzten Algorithmen lernen aufgrund von Daten und sind allgemeingültig. D.h. die Algorithmen kennen die Kategorie Hautfarbe nicht. Die Hautfarbe kann aber in den eingegeben Daten vorkommen und werden dann von den Algorithmen "unbestechlich" verarbeitet. Man könnte natürlich sowohl die Algorithmen als auch die Daten manipulieren. Das macht aber keinen Sinn weil man dann falsche Ergebnisse bekommen würde d.h. der gesamte Aufwand neue Erkenntnisse oder Entscheidungen zu bekommen wäre für die Katz. Das die Erkenntnisse oder Entscheidungen dann im zweiten Schritt von Menschen tendenziell bewertet werden ist ein anderes Thema. Aber die Algorithmen sind nicht schuld.
Haben Sie den Arftikel überhaupt gelesen? Das Beispiel mit den Kleidungsfarben widerlegt Ihre These völlig.
Alle Kommentare öffnen
Seite 1
Diskussion geschlossen - lesen Sie die Beiträge! zum Forum...

© SPIEGEL ONLINE 2019
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung


TOP
Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.