Forum: Netzwelt
Diskriminierender Algorithmus: Patienten-Software benachteiligt Millionen Afroamerika
DPA

Ein Algorithmus hat offenbar Millionen Menschen in den USA zu Unrecht eine bessere medizinische Versorgung verweigert. Der Fall zeigt, wie Daten und Software unbemerkt diskriminieren können.

Seite 1 von 5
martinmde 25.10.2019, 15:39
1. Rassismus über 2 Ecken

geringeres Einkommen = keine Behandlung
schwarz = geringeres Einkommen
schwarz = keine Behandlungen

ist das Rassismus oder einfach nur Statistik? Ich würde sagen letzteres.

Beitrag melden Antworten / Zitieren
syracusa 25.10.2019, 15:47
2. EVA - Mist rein, Mist raus

Schon als ich noch mit Lochkarten meine ersten Programmierversuche für eine Maschine nach EVA Prinzip (Eingabe, Verarbeitung, Ausgabe) anstellte, lautete das Motto: Wenn man Mist reinschickt, kann nur Mist rauskommen. Das scheint heute oft vergessen zu werden.

Beitrag melden Antworten / Zitieren
Leser161 25.10.2019, 15:57
3. Genau das ist das Problem mit Big Data

Und eigentlich ist es so offensichtlich, dass ich mich frage warum es nicht schon eine gesamtgesellshaftliche Diskussion gibt. Wenn Polizisten aus Fleisch und Blut einzelne Personen diskrimieren, dann schreien alle. Wenn Software Millionen diskriminiert interessiert es keinen.

Auch hier in Deutschland. Denn die ganzen Scorer sagen zwar das sie die Zahlungsfähigkeit von Leuten berechnen können. Aber stimmt das überhaupt? Wurde das mal verifiziert? Vielleicht handelt es sich dort auch um automatische Diskrimierung.

Beitrag melden Antworten / Zitieren
erwachsener 25.10.2019, 16:05
4. Kennzahlenhörigkeit

Hier wurden offenbar gleich mehrere fehler begangen...
Zuerst natürlich die weit verbreitete Kennzahlenhörigkeit. Eine irgendwie berechnete Zahl wird als allein wahres Kriterium für komplexe Entscheidungen verwendet, anscheinend ohne daß vorher mal gezeigt wurde, ob diese Zahl überhaupt relevant ist.
Zum anderen der wirklich sehr weit verbreitete Statistische Fehlschluß, von einer Statistik über viele Einzefälle auf einen gegebenen neuen Einzelfall zurückschließen zu wollen. Das geht nicht! Das ist mathematisch unzulässig! Nur weil die Einschaltquote für den letzten Tatort hoch war, hab ich ihn noch lange nicht gesehen. Und bevor mir jetzt jemand mit Bayes kommt: da kommen auch nur Wahrscheinlichkeiten raus, keine Gewißheiten. Auch Bayes kann die Frage, ob ich den Tatort gesehen habe, nicht mit Sicherheit beantworten. Das kann nur, wer mich gezielt danach fragt. So wie ein Arzt im Gespräch mit dem Patienten und durch medizinische diagnostik herausfinden sollte, welche Behandlung angezeigt ist.

Beitrag melden Antworten / Zitieren
klimaterium 25.10.2019, 16:06
5. @2

Das mit dem Mist ist nicht ganz richtig. Die Daten sind ja nicht Mist. Durchschnitt bleibt Durchschnitt. Es sind für die Risikobewertung einfach die falschen Daten.

Beitrag melden Antworten / Zitieren
Stäffelesrutscher 25.10.2019, 16:17
6.

»Patienten-Software benachteiligt Millionen Afroamerikaner«
Nein.
Sondern die Hersteller haben eine Software so programmiert, dass sie Afroamerikaner und andere Arme und Diskriminierte benachteiligt.
Das ist nicht wie »Starke Sonneneinstrahlung benachteiligt hellhäutige Rothaarige«, sondern »Wer hat, dem wird gegeben; wer aber nicht hat ...«, der Mutter aller Diskriminierungen: menschengemacht.

Beitrag melden Antworten / Zitieren
zzipfel 25.10.2019, 16:23
7. Kann auch bedeuten daß Schwarze im Schnitt einfach gesünder sind

vlt. auch entspannter, weil in Familie und Community besser verankert? Müssen sich Weiße rassistisch behandelt fühlen, weil sie häufiger aufwendiger behandelt werden müssen?

Beitrag melden Antworten / Zitieren
jpphdec 25.10.2019, 16:26
8. Keine Statistik

Zitat von martinmde
geringeres Einkommen = keine Behandlung schwarz = geringeres Einkommen schwarz = keine Behandlungen ist das Rassismus oder einfach nur Statistik? Ich würde sagen letzteres.
Der gesuchte Begriff lautet "mittelbare Diskriminierung"

Beitrag melden Antworten / Zitieren
whitewisent 25.10.2019, 16:28
9.

"Demnach habe der Algorithmus nur 17,7 Prozent der dunkelhäutigen Patienten eine zusätzliche Behandlung zugestanden. Laut Forschern würde der Anteil bei 46,5 Prozent liegen, wenn die Software ohne Benachteiligung rechnen würde."

Das weckt in mir den Eindruck, das heute statt "traue keiner Statistik, die Du nicht selbst erstellt hast", die Programme stehen. Nun merkt aber vieleicht auch ein anderer SPON-Leser den Widerspruch. In der USA sind laut Zensus 12,1 Prozent Afroamerikaner. Darum fiel es vieleicht bislang keinem auf, denn schon jetzt ist der ihr Anteil an den behandelten schweren Fällen überproportional. Und in Zukunft sollen sie knapp die Hälfte aller Behandlungen erhalten? Ist dass dann positiver Rassismus, oder gehts da wirklich noch um die Ethnografie, oder nicht doch den Geldbeutel. Denn wie im Artikel ja auch steht, gibt es diverse im eigenen Verhalten begründete Aspekte.

Ich glaube immer noch, eine durch Informatiker rein statistisch erstellte Entscheidung ist am Ende für die Masse objektiver, als wenn sich Lobbyisten eingreifen und Parameter beanspruchen, die so nicht unbedingt mit der Lebenswirklichkeit zu tun haben. Denn das Programm stellt ja auch Leute in Alaska und Florida gleich, und ein Provinzkaff in Colorado mit Boston.

Beitrag melden Antworten / Zitieren
Seite 1 von 5