Forum: Netzwelt
Künstliche Intelligenz: Wie viel Rassismus steckt in Algorithmen?
#womenofcolortechchat

Mutale Nkonde ist Forscherin und kämpft gegen Rassismus im Zeitalter künstlicher Intelligenz. Ihre bisherige Bilanz für die Tech-Branche ist vernichtend.

Seite 1 von 7
patriae. 15.06.2019, 14:27
1. Oh man..

Algorithmen, künstliche Intelligenzen, Bots können nicht rassistisch sein. Ist unmöglich, entweder müsste man sie rassistisch programmieren oder man tut das nicht und dann sind sie es auch nicht. Programme sind die mit Abstand rationalsten und objektivsten Dinge, die es gibt - sie haben weder Vorlieben noch Gefühle. Alles was sie tun, beziehen sie aus Daten. Mehr nicht.

Beitrag melden
Jörg-Detlef 15.06.2019, 14:48
2. US-amerikanischer Rassismus in Algorithmen

Ich kann in Frau Mutale Nkondes Erkenntnissen nicht den wissenschaftlichen Ansatz finden. Ihre Feststellungen mögen durchaus Wissenswertes vermitteln, aber Interviews mit 20 Angestellten aus dem Silicon Valley mögen in den Vereinigten Staaten als Forschungstätigkeit anerkannt werden, in Deutschland wie in Europa sind die Maßstäbe dafür andere. Ich sehe auch nicht, wo in dem Beitrag es um künstliche Intelligenz geht. Algorithmen bedient man sich schon seit Jahrzehnten, sinnvoll, weniger sinnvoll und auch in geradezu menschenverachtender Art und Weise. Da mögen rassistische Diskriminierungen vorkommen wie Diskriminierungen aller Art. Ich kann mir beim allerbesten Willen nicht vorstellen, dass gewisse neuere Technologien US-amerikanischen Rassismus fördern. Auch kann ich in dem Spiegel-Artikel keinen Hinweis darauf finden.

Beitrag melden
nobody_incognito 15.06.2019, 15:03
3.

Zitat von patriae.
Algorithmen, künstliche Intelligenzen, Bots können nicht rassistisch sein. Ist unmöglich, entweder müsste man sie rassistisch programmieren oder man tut das nicht und dann sind sie es auch nicht. Programme sind die mit Abstand rationalsten und objektivsten Dinge, die es gibt - sie haben weder Vorlieben noch Gefühle. Alles was sie tun, beziehen sie aus Daten. Mehr nicht.
Die Algorithmen arbeiten nach statistischen Wahrscheinlichkeiten. Aber das ist im Prinzip dasselbe wie rassistische Vorurteile, weil jedes Individuum individuell zu betrachten wäre. Außerdem sind nichtmal Begriffe wie "Kriminalität" objektiv definiert, Machtmissbrauch im gesetzestreuen Amt könnte man genauso dazu zählen, wird aber wohl nicht, weil die Algorithmen den "Ämtern" dienen sollen. Letztendlich ist jeder für sein Seelenheil selbst verantwortlich und das ist der einzig wirklich denkbar objektive Algorithmus.

Beitrag melden
ldom 15.06.2019, 15:10
4. „Rassismus durch Algorithmen“

Irgendwie sieht es so aus als hätte die Frau die Technik bei dem Thema nicht ganz verstanden.
ML kann man vereinfacht als spezielle Form von Statistik sehen. Die eingesetzten Algorithmen lernen aufgrund von Daten und sind allgemeingültig. D.h. die Algorithmen kennen die Kategorie Hautfarbe nicht. Die Hautfarbe kann aber in den eingegeben Daten vorkommen und werden dann von den Algorithmen „unbestechlich“ verarbeitet. Man könnte natürlich sowohl die Algorithmen als auch die Daten manipulieren. Das macht aber keinen Sinn weil man dann falsche Ergebnisse bekommen würde d.h. der gesamte Aufwand neue Erkenntnisse oder Entscheidungen zu bekommen wäre für die Katz. Das die Erkenntnisse oder Entscheidungen dann im zweiten Schritt von Menschen tendenziell bewertet werden ist ein anderes Thema. Aber die Algorithmen sind nicht schuld.

Beitrag melden
syracusa 15.06.2019, 15:37
5.

Zitat von ldom
Irgendwie sieht es so aus als hätte die Frau die Technik bei dem Thema nicht ganz verstanden. ML kann man vereinfacht als spezielle Form von Statistik sehen. Die eingesetzten Algorithmen lernen aufgrund von Daten und sind allgemeingültig. D.h. die Algorithmen kennen die Kategorie Hautfarbe nicht. Die Hautfarbe kann aber in den eingegeben Daten vorkommen und werden dann von den Algorithmen „unbestechlich“ verarbeitet.
Haben Sie den Arftikel überhaupt gelesen? Das Beispiel mit den Kleidungsfarben widerlegt Ihre These völlig.

Beitrag melden
Susi64 15.06.2019, 15:40
6. Verantwortung von Algorithmen

Algorithmen werten aus. Wie und auf welcher Datengrundlage entscheiden Menschen. Das moralische Problem der Algorithmen ist kein programmiertechnisches Problem sondern der Tatsache geschuldet, dass Menschen keine Verantwortung übernehmen wollen und/oder können. Ein Algorithmus entscheidet nicht objektiv sondern wie es vorgegeben ist und das gnadenlos.
Welcher Bankangestellte gibt einen Kredit aus, wenn der "heilige Schufascore" das nicht zu lässt? Für Moral und Verantwortung ist der Mensch zuständig und eben nicht ein Algorithmus.

Beitrag melden
syracusa 15.06.2019, 15:42
7.

Zitat von patriae.
Algorithmen, künstliche Intelligenzen, Bots können nicht rassistisch sein. Ist unmöglich, entweder müsste man sie rassistisch programmieren oder man tut das nicht und dann sind sie es auch nicht. Programme sind die mit Abstand rationalsten und objektivsten Dinge, die es gibt - sie haben weder Vorlieben noch Gefühle. Alles was sie tun, beziehen sie aus Daten. Mehr nicht.
Das machen Menschen letztendlich auch. Vorurteile beruhen auf sozial tradierten, selektiven Erfahrungen. Die Algorithmen sind also genau so rassistisch, wie diejenigen, die die Algorithmen schreiben und die Datengrundlage erfassen.

Beispielsweise wird im Interview erwähnt, dass Algorithmen als Datenbasis bisher in Straftaten verdächtige Personen anwenden. Verdächtig aber ist einem Polizisten (und der muss dazu noch nicht mal selbst weiß sein!) eher ein Schwarzer in bunten Klamotten als ein Weißer im Anzug. Ja, der Algorithmus mag diese Datenbasis dann ganz "unvoreingenommen" auswerten, aber das Ergebnis ist dennoch rassisches Profiling.

Beitrag melden
vitalik 15.06.2019, 16:50
8.

Zitat von syracusa
Das machen Menschen letztendlich auch. Vorurteile beruhen auf sozial tradierten, selektiven Erfahrungen. Die Algorithmen sind also genau so rassistisch, wie diejenigen, die die Algorithmen schreiben und die Datengrundlage erfassen. Beispielsweise wird im Interview erwähnt, dass Algorithmen als Datenbasis bisher in Straftaten verdächtige Personen anwenden. Verdächtig aber ist einem Polizisten (und der muss dazu noch nicht mal selbst weiß sein!) eher ein Schwarzer in bunten Klamotten als ein Weißer im Anzug. Ja, der Algorithmus mag diese Datenbasis dann ganz "unvoreingenommen" auswerten, aber das Ergebnis ist dennoch rassisches Profiling.
Das Beispiel bezieht sich auf die Datenbasis und nicht auf die Algorithmen selbst. Ich vertrete ebenfalls den Punkt, dass ein Code nicht rassistisch ist. Wenn man diesem Code aber rassistisch-behaftete Daten zum Verarbeiten gibt, ist es kein Wunder, dass der Forecast ein rassistisches Ergebnis ausspuckt.
Man sollte aber nicht alles auf den Rassismus des Codes schieben. "Shit in, shit out" wie man in der IT sagt.

Beitrag melden
kamy 15.06.2019, 17:16
9. vielleicht haben Sie ja nicht verstanden

Zitat von ldom
Irgendwie sieht es so aus als hätte die Frau die Technik bei dem Thema nicht ganz verstanden. ML kann man vereinfacht als spezielle Form von Statistik sehen. Die eingesetzten Algorithmen lernen aufgrund von Daten und sind allgemeingültig. D.h. die Algorithmen kennen die Kategorie Hautfarbe nicht. Die Hautfarbe kann aber in den eingegeben Daten vorkommen und werden dann von den Algorithmen „unbestechlich“ verarbeitet. Man könnte natürlich sowohl die Algorithmen als auch die Daten manipulieren. Das macht aber keinen Sinn weil man dann falsche Ergebnisse bekommen würde d.h. der gesamte Aufwand neue Erkenntnisse oder Entscheidungen zu bekommen wäre für die Katz. Das die Erkenntnisse oder Entscheidungen dann im zweiten Schritt von Menschen tendenziell bewertet werden ist ein anderes Thema. Aber die Algorithmen sind nicht schuld.
Die Algorithmen kennen die Kategorie Hautfarbe, wenn sie dieses Merkmal erfassen und einbeziehen. Mit diesen Daten wird das Programm "trainiert" und entsprechende Prognosen erstellt. Es erfasst die Realität mit all ihren Eigenschaften, auch den bestehenden Rassismus. Prognosen, die Sie aufgrund dieses Profilings erstellen, bilden die gesellschaftliche Realität wieder - auch die rassistische oder sexistische.
Beispiel: Ein Algorithmus trainiert Kreditwürdigkeit (z. B.: Kredit-Ausfallwahrscheinlichkeit) aufgrund verschiedener Input-Variablen, wie etwa Wohnort, Einkommen, Hautfarbe etc. Jetzt leben Sie in einer Gesellschaft, die Segregation nach Hautfarbe kennt, die Schwarze einen erheblich schwierigeren Zugang zu Bildung und damit Einkommen gewährt. Der Algorithmus wird "wertfrei" und "objektiv", das Merkmal Hautfarbe beibehalten und als relevanten Faktor erkennen. Und so werden Sie als schwarzer Mensch in Ihrer Kreditwürdigkeit niedriger eingeschätzt, egal ob Sie persönlich dies tatsächlich sind oder nicht. Der Algorithmus erkennt die (rassistische) Realität und ihre Folgen und verfestigt und perpetuiert sie gleichzeitig. Und genau das ist das Problem. Es gibt kein Entrinnen.

Beitrag melden
Seite 1 von 7
Diskussion geschlossen - lesen Sie die Beiträge!