Diskriminierender Algorithmus Patienten-Software benachteiligt Millionen Afroamerikaner

Ein Algorithmus hat offenbar Millionen Menschen in den USA zu Unrecht eine bessere medizinische Versorgung verweigert. Der Fall zeigt, wie Daten und Software unbemerkt diskriminieren können.
Afroamerikaner bekommen seltener eine Krankenhaus-Behandlung als Weiße

Afroamerikaner bekommen seltener eine Krankenhaus-Behandlung als Weiße

Foto: Dora Maier/ picture alliance/dpa

In den USA sind offenbar Millionen Afroamerikaner bei der medizinischen Versorgung benachteiligt worden. Laut einem Bericht im Wissenschaftsmagazin "Science" hat eine weit verbreitete Software weißen Patienten eher eine teure medizinische Behandlung zugesprochen als schwarzen.

In dem Bericht heißt es, dass der Algorithmus jedes Jahr für rund 200 Millionen Patienten in den USA ausrechnet, ob für sie zusätzliche Behandlungen infrage kommen . Die Software wird unter anderem von Krankenhäusern und Versicherungen eingesetzt, um automatisiert Patienten zu identifizieren, die am ehesten von aufwendigen und damit auch teuren Behandlungen profitieren würden.

Das Ergebnis: Afroamerikaner bekommen bei vergleichbar komplexen medizinischen Bedürfnissen seltener eine aufwendige Behandlung als Weiße.

Entwickler bestätigt die Vorwürfe der Forscher

Das Problem liegt laut den Wissenschaftlern an den Daten, mit denen der Algorithmus arbeitet. Als Grundlage für die Berechnung eines Risikofaktors habe der nämlich die Behandlungskosten eines Patienten genommen: Wer im Laufe des Jahres mehr Geld für medizinische Betreuung ausgibt, hat eine höhere Risikobewertung. Dieses Vorgehen klingt zunächst nachvollziehbar, da es davon ausgeht, dass höhere Behandlungskosten dafür sprechen, dass eine Person mehr medizinische Hilfe benötigt.

Doch laut der Studie sind Afroamerikaner in den USA unterversorgt und nehmen weniger medizinische Behandlungen in Anspruch. Im Schnitt liegen die Behandlungskosten um 1801 Dollar (etwa 1600 Euro) im Jahr niedriger als für einen vergleichbar kranken Weißen.

Ursachen für die geringeren Behandlungskosten von Afroamerikanern sind laut dem Bericht unter anderem Armut und Rassismus. Zwar seien die untersuchten Patienten alle versichert gewesen. Doch wirkten sich unter anderem der Wohnort, der Zugang zu Transportmitteln, ein fordernder Job, die Kinderbetreuung und mangelndes Vertrauen in das Gesundheitssystem darauf aus, dass sie weniger Behandlungen in Anspruch nehmen. Außerdem sei direkte Diskriminierung durch Ärzte ein Problem.

Die Folge: Afroamerikaner müssen kranker sein, damit die Software einen höheren Risikofaktor erkennt, der zusätzliche Unterstützung rechtfertigt. Demnach habe der Algorithmus nur 17,7 Prozent der dunkelhäutigen Patienten eine zusätzliche Behandlung zugestanden. Laut Forschern würde der Anteil bei 46,5 Prozent liegen, wenn die Software ohne Benachteiligung rechnen würde.

Die Forscher haben laut dem Wissenschaftsmagazin "Nature"  die Entwickler mit dem Problem konfrontiert. Die Firma hat demnach die Vorwürfe bestätigt und will nun mit den Forschern zusammenarbeiten, um die Software zu überarbeiten.

Bürgerrechtler hoffen auf Lerneffekt in Deutschland

Das Problem hätte man bereits bei der Entwicklung bemerken können, sagt Matthias Spielkamp von der Bürgerrechtsorganisation AlgorithmWatch dem SPIEGEL. Es handele sich insofern um einen typischen Fall für einen diskriminierenden Algorithmus, da mit der Höhe der Behandlungskosten nur ein bestimmter Wert als Grundlage für eine Bewertung genommen wurde, "ohne den gesamten Zusammenhang zu betrachten".

Zwar seien solche Systeme in Deutschland noch nicht so weit verbreitet, aber in Nachbarländern würden durchaus ähnliche Algorithmen eingesetzt. Als Beispiele nennt Spielkamp etwa Algorithmen, die in den Niederlanden Sozialbetrug aufdecken, in Österreich Jobs vermitteln und in Dänemark Kinder schützen sollen. Diese Software-Helfer seien "zu Recht hoch umstritten".

Spielkamp hofft, dass die Entwickler in Deutschland aus den Fehlern der US-Kollegen lernen. Der Rückstand vor allem in der öffentlichen Verwaltung könne sich als Vorteil erweisen, da "wir uns der Risiken beim Einsatz algorithmischer Systeme besser bewusst sind und sie daher besser berücksichtigen können".

Anmerkung der Redaktion: Ursprünglich war in diesem Text der Begriff "Sonderbehandlung" verwendet worden. Dieser ist zur Zeit des NS-Regimes von Nationalsozialisten als Codewort für die Ermordung von Menschen verwendet worden. Wir haben den entsprechenden Passus geändert und bedanken uns bei den Lesern, die uns auf dieses Umstand hingewiesen haben.
Im vierten Absatz haben wir die Angaben zur Berechnung des Risikofaktors korrigiert.