Forum: Netzwelt
Künstliche Intelligenz: Wie viel Rassismus steckt in Algorithmen?
#womenofcolortechchat

Mutale Nkonde ist Forscherin und kämpft gegen Rassismus im Zeitalter künstlicher Intelligenz. Ihre bisherige Bilanz für die Tech-Branche ist vernichtend.

Seite 3 von 7
Sumerer 15.06.2019, 18:37
20.

Zitat von squire0815
Datenerhebung erfolgt immer bezogen auf einen Kontext. Ist der Kontext bekannt können Korrelationen oder Kausalitäten mit grosser Zuverlässigkeit bestimmt werden. Nur ist es aber so dass Gesellschaften nicht auf dem aufbauen sondern auf eine Utopie ein soll
Ihr Kommentar ist ein bisserl kryptisch. Jedoch denke ich, dass er so zu verstehen ist, dass Daten- und Informationsverrbeitung immer auch aus ideelen Erwägungen heraus vorgenommen wird. Das würde ich so bestätigen. War das so auch von Ihnen gemeint?

Beitrag melden
ItchyDE 15.06.2019, 19:10
21.

Erstens würde ich mir wirklich wünschen, dass man den allgemeinen Begriff des Algorithmus nicht mit KI / selbstlernenden Programmen gleichsetzt. Ein Algorithmus kann nämlich auch was total triviales sein.

Zum Thema: eine KI wird immer Entscheidungen treffen, die aus ihrer Sicht am günstigsten ist. Moral oder Ethik spielt da keine Rolle, so versucht eine KI in einem Computerspiel zunächst immer so viel wie möglich zu Cheaten weil das den offensichtlichsten Vorteil bietet. Die Ethik, dass Betrügen nicht in Ordnung ist, könnte man einer KI bislang noch nicht ablehnen, sondern wird durch Menschen implementiert. Deswegen agiert eine KI auch erstmal durch und durch rassistisch, weil die Welt nunmal so erscheint. Farbige Menschen sind in praktisch allen Regionen sozial und wirtschaftlich benachteiligt und damit eher straffällig als Weiße. Das hat zwar ursächlich nichts mit der Hautfarbe bzw. irgendwelchen Genen bzw. der "Rasse" zu tun, die rohen Daten geben das aber nicht her.

Kleines Gedankenexperiment: wenn man jemanden zwei Fotos zeigt, eine weiße blonde Frau und einen Schwarzen Mann und dann fragt, wer von beiden ein Drogendealer ist, dürfte die häufigere Antwort klar sein. Ist das rassistisch? Ja klar. Aber Hand aufs Herz, wer würde anders entscheiden? Jetzt noch eine zusätzliche Information dazu: es gibt auf der Welt viel mehr schwarze Männer, die keine Drogendealer sind, als Weiße Blondinen. Reicht das, um die Entscheidung zu ändern?

Beitrag melden
supergrobi123 15.06.2019, 19:38
22. Naja...

Der entscheidende Punkt ist aber nun mal leider, dass die Algorithmen sich auf Wahrheiten beziehen und nicht auf rassistische Vorurteilsmärchen, die jeder Grundlage entbehren würden.
Ähnliches passiert auch bei uns in Deutschland, mein Schufa-Score hängt beispielsweise u.a. von der Nachbarschaft ab, in der ich wohne.
Das finden wir zwar sicher alle irgendwie unfair, aber wir leben damit.
Aber in dem Moment, in dem eine Nachbarschaft - genau wie jede andere Nachbarschaft auch - von Algorithmen wie dem der Schufa bewertet wird, die überwiegend von Migranten bewohnt werden, wird so getan, als handele es sich urplötzlich um "Rassismus", obwohl es exakt Gleichbehandlung ist.
Gleich das erste Beispiel im Artikel ist sehr dubios. Ein Vermieter will Gesichserkennung statt Schlüssel einführen?
Gern hätte ich eine Begründung für diesen kuriosen Schritt gelesen, das ist doch sicher teurer und offensichtlich sogar nicht mal legal.
Die bleibt der Artikel aber schuldig.
Dafür wird darauf verwiesen, dass an der Upper East Side keine Gesichtserkennung vorgesehen sei.
Zunächst mal wage ich zu bezweifeln, dass diese Behauptung so stimmt, ich würde Geld darauf wetten, dass in der teuren Upper East Side schon seit vielen Jahrzehnten Überwachunskameras das Kommen und Gehen in den teuren Wohnkomplexen aufzeichnen und "Daten sammeln".
Zum andern ist es eine dreiste Unterstellung, die Gesichterkennungspläne seien auf Rassismus zurückzuführen, wo der Vergleich doch offensichtlich zwischen einer der reichsten Wohngegenden des Planeten und einem armen Viertel mit (Zitat:) "historisch hohen Kriminalitäts- und Gewaltraten" gezogen wird.
Nochmal!
"Historisch(!!!) hohe Kriminalitäts- und Gewaltraten"!
Aber dieser Umstand ist ja offensichtllich kaum eine Nebensatz wert; wenn Vermieter sich in so einem Viertel besonders verhalten, muss es an der Hautfarbe der Mieter liegen.
Ähnliches gilt für Gang-Mitglieder, die sich nun mal WIRKLICH bevorzugt in den von ihnen kontroliierten Vierteln rumtreiben, WIRKLICH fast ausschließlich schwarz sind und WIRKLICH bestimmte Farben als Erkennungsmerkmal tragen.
Diese Daten hat sich nicht irgendein Rassist zusammenfabukiert, um die ganzen unschuldigen Schwarzen gezielt zu diskreditieren.
Es ist schlicht albern, zu fordern, dass solche Erkenntnisse ignoriert werden sollen.
Sucht die Polizei nach einem flüchtigen Täter, der als Gangmitglied beschrieben wurde, ist es gut und richtig, dass sie nach Leuten Ausschau hält, die wie Gangmitglieder aussehen, statt jede Omi zu kontrollieren.
Es ist eben nicht die Hautfarbe, die Grund für das Profiling ist, sondern Gangaktivitäten.
Wenn ich ein Bayerntrikot anziehe und auf Fotos mit stadtbekannten Bayernfans auftauche, finde ich es jedenfalls nicht diskriminierend, wenn jemand mich fälschlich für einen Bayernfan hält.

Beitrag melden
supergrobi123 15.06.2019, 19:47
23. Ja, aber..

Zitat von syracusa
Jaja, da bin ich völlig ahnungslos, auch wenn ich vor 35 Jahren meine Doktorarbeit über KI verfasst habe. Ein guter Programmierer wird ein KI-Programm so verfassen, dass es nicht auf falsch erfasste Daten hereinfällt. Wenn das Programm so gestrickt ist, dass es unreflektiert eine bekanntlich rassistische Datenbasis nutzt, dann ist es genau so rassistisch, wie ein Mensch auch. Und lustigerweise sogar aus den gleichen Gründen.
..ist die Datenbasis denn "rassistisch"?
Es ist 1.00 Uhr nachts, Sie befinden sich im Urlaub in New York. Sie wollen ein wenig frische Luft schnappen und einen Nachtspaziergang machen.
Sie haben die Wahl, ob Sie das an der Upper East Side tun, wo Leute wie Trump wohnen, oder in Brownsville, dem Viertel mit der laut Artikel "historisch hohen Gewalt- und Kriminaltitätsrate".
Sind Sie ein Rassist, wenn Sie sich für die Upper East Side entscheiden?

Beitrag melden
Karla Winterstein 15.06.2019, 20:13
24. Das sind verschiedene paar Schuhe

Zitat von syracusa
Die Algorithmen sind also genau so rassistisch, wie diejenigen, die die Algorithmen schreiben und die Datengrundlage erfassen.
Wir reden ja hier nicht von den Systemen vergangener Tage, die in einem Beitrag angeschnitten wurden: Manuell programmierte Systeme in LISP, Prolog, OPS5, etc., bei denen die Software-Entwickler die Struktur und die Datenbasis des Systems implementierten.

Die aktuell üblichen Verfahren basieren auf Algorithmen, die von Entwicklern implementiert werden, auf Daten, die von Datenanalysten vorbereitet werden, und auf Spezialisten für maschinelles Lernen, die dann diese vorbereiteten Elemente anwenden, um ein arbeitsfähiges System zu erzeugen.

Die von den Entwicklern implementierten Algorithmen können für die unterschiedlichsten Zwecke benutzt werden. Diese Personen brauchen überhaupt nicht zu wissen, wofür diese dann eingesetzt werden - und sie wissen es normalerweise auch nicht.

Die Datenanalysten - derzeit ein absoluter Mangelberuf für den teilweise sogar mit dem Slogan "The most sexy Job in the 21th century" geworben wird, wissen auch nicht unbedingt, wofür diese von ihnen vorbereiteten Daten letztendlich vom Kunden benutzt werden sollen.

Diese Rohdatenvorbereitung ist teilweise ungeheuer arbeitsaufwändig und dabei müssen auch Entscheidungen bezüglich fehlender oder eindeutig fehlerhafter Daten gefällt werden.

Die Personen dieser beiden Bereiche arbeiten aufgrund von Vorgaben. Ihre persönlichen Präferenzen aus dem Alltag spielen dabei überhaupt keine Rolle.

Beitrag melden
susuki 15.06.2019, 20:34
25.

Da politische Korrektheit keiner Logik folgt dürfte diese nicht in Algorithmen zu packen sein.

Dumm gelaufen

Beitrag melden
frenchie3 15.06.2019, 20:37
26. @14 Einspruch, Euer Verehrung

Zitat: "die Daten müssen für die Fragestellung relevant sein". Im Prinzip ja, aber 1. wer entscheidet welche Daten relevant sind? 2. Auf welcher Basis? 3. Für welchen Verwendungszweck? Jeder Eingriff limitiert und beeinflußt das Ergebnis, da beginnt schon die Manipulation. Welche Daten gebraucht werden kann die Maschine auf jedem Fall erst mal nicht sagen. Alle verfügbaren Daten rein, die Maschine ordnet zu, die Bewertung macht der Mensch (noch) mit all seinen (unbewußten) Vorurteilen

Beitrag melden
Herr Knigge 15.06.2019, 21:23
27. @frenchie3

Sie führen nur genauer aus, was ich ausdrücken wollte: Das Problem ist die Auswahl der Daten, nicht der Code. Und viele der relevanten Daten, die potentiell zu einer kriminellen Karriere führen, sind schlichtweg nicht verfügbar. Wenn ich nur ein Bild kenne, weiß ich nun einmal nicht, wie Bildung etc zu bewerten ist. Und dann kann ich nur noch nach der Hautfarbe gehen. (Sehr verkürzt dargestellt.)

Beitrag melden
ws56 15.06.2019, 22:00
28. Meine Güte

das wird ja immer schlimmer, leben denn nur noch bekloppte in dieser Welt?

Beitrag melden
godfader 15.06.2019, 22:02
29. Nicht "rassistisch getrennt"

Kreditwürdigkeits-Scores sind mit rassistisch getrennten Nachbarschaften korreliert -> es muss heißen "rassisch" getrennt

Beitrag melden
Seite 3 von 7
Diskussion geschlossen - lesen Sie die Beiträge!