Wissenschaft absurd Ein Datensatz - 29 Ergebnisse

Bekommen dunkelhäutige Fußballer häufiger rote Karten als hellhäutige? 29 Forscherteams haben ein und denselben Datensatz ausgewertet - und sind zu ganz unterschiedlichen Ergebnissen gekommen.
Jérôme Boateng im Frühjahr diesen Jahres: Fliegen dunkelhäutige Spieler öfter vom Platz?

Jérôme Boateng im Frühjahr diesen Jahres: Fliegen dunkelhäutige Spieler öfter vom Platz?

Foto: Matthias Hangst/ Bongarts/Getty Images

Wir Menschen sehen die Welt so, wie wir sie sehen wollen. Oder so, wie sie nach unserer Überzeugung ist. Alles, was zu den eigenen Ansichten passt, bestätigt diese und verstärkt sie. Was sich hingegen nicht in unser Weltbild fügt, blenden wir aus oder ignorieren es. Das gilt für politische Positionen ebenso wie für wahrgenommene Stimmungen oder die Haltung zum Thema Impfen.

Auch Wissenschaftler sind nicht davor gefeit, die Welt verzerrt wahrzunehmen. Dies zeigt ein kleines Experiment, über das die beiden Wirtschaftswissenschaftler Raphael Silberzahn und Eric Uhlmann nun im Fachblatt "Nature" berichten .

Sie wollten wissen, ob eine dunkle Hautfarbe bei Fußballspielern die Wahrscheinlichkeit erhöht, mit einer roten Karte vom Platz zu fliegen. Silberzahn und Uhlmann besorgten sich einen großen Datensatz mit 2053 Spielern  der Saison 2012/13 aus der Premier League, der 1. Bundesliga, der französischen Ligue 1 und der spanischen Primera División. Via Facebook und Twitter rekrutierten sie weltweit Forscher, um die Daten auszuwerten.

Die Hautfarbe beeinflusst Schiedsrichter - oder doch nicht?

29 verschiedene Teams kamen zusammen - alle erhielten denselben Datensatz und rechneten los. 20 von ihnen fanden einen statistisch signifikanten Zusammenhang zwischen der Hautfarbe und den erteilten Platzverweisen. Die meisten Forscher kamen zum Schluss, dass Dunkelhäutige eine 1,2- bis 1,5-fach höhere Wahrscheinlichkeit für eine rote Karte haben als hellhäutige.

Doch es gab auch davon abweichende Ergebnisse: Viermal hieß es, die Hautfarbe habe keinen Einfluss. Eines dieser Teams hielt diesen Zusammenhang sogar für statistisch signifikant.

Zwei Forschergruppen wiederum kamen sogar auf einen Faktor von fast zwei - also auf eine doppelt so hohe Wahrscheinlichkeit. Auch hier war ein Ergebnis angeblich statistisch signifikant. (Hier geht es zu alle 29 Einzelstudien. )

Jede Forschergruppe hatte unabhängig von den anderen eigene Hypothesen aufgestellt und getestet. Sie hatten dabei durchaus Spielräume. Beispielsweise war die Hautfarbe der Spieler in fünf Stufen angegeben - von "sehr hell" bis "sehr dunkel". Wer sollte dann als weiß gelten, wer als dunkel? Gearbeitet wurde zudem mit verschiedenen statistischen Methoden, wie dem sogenannten Bayes Clustering und der Logistischen Regression .

Experten für verzerrte Daten wider Willen

"Das Ergebnis jedes Teams ist stark beeinflusst von subjektiven Entscheidungen während der Datenanalyse", konstatieren Silberzahn und Uhlmann. Wenn nur eine der Arbeiten als Studie publiziert worden wäre, hätte man durchaus ein Ergebnis lesen können, das von anderen abweicht. "Das bedeutet, dass man eine einzelne Analyse nicht zu Ernst nehmen sollte", mahnen die Forscher.

In Sachen verzerrte Studien gelten Silberzahn und Uhlmann als Experten wider Willen. 2013 hatten sie berichtet, Menschen mit noblen Nachnamen wie Kaiser, Fürst oder König hätten in Deutschland bessere Karrierechancen als jene mit profanen Namen wie Bauer oder Müller. Doch ihre Auswertung erwies sich als fehlerhaft - der behauptete Zusammenhang existierte gar nicht, wie sie später einräumen mussten.

Das Problem verzerrter Auswertungen ist aber durchaus lösbar, wie Robert MacCoun und Saul Perlmutter in einem "Nature"-Kommentar  darlegen. Sie plädieren dafür, dass Wissenschaftler möglichst wenig über die Daten wissen, wenn sie diese analysieren. In der Teilchenphysik sei es schon lange üblich, dass man Datenbeschreibungen weglasse und Werte sogar gezielt verändere - etwa indem über Zufallszahlen Rauschen hinzugefügt werde. Nur solchen blind ausgewerteten Daten könne man wirklich trauen.

Für den Datensatz der 2000 Erstligaspieler schlägt Perlmutter eine simple Manipulation vor, damit eine unvoreingenommene Auswertung gelingt: "Der einfachste Weg ist wohl, den Forschern die Daten in zwei Versionen zu geben." Eine enthalte die echten Daten, in der anderen seien die Codierungen zur Hautfarbe vertauscht. Die eigentlich Dunkelhäutigen würden dann als Hellhäutige gelten und umgekehrt. "Man darf den Forschern natürlich nicht verraten, welcher Datensatz der richtige ist, solange sie nicht beide ausgewertet haben", betont der Physik-Nobelpreisträger des Jahres 2011. Das Motto laute: Verstecke die Ergebnisse, um die Wahrheit zu finden.

Schon vor Jahrzehnten hatte der Physiker Richard Feynman (1918-1988) beobachtet, wie leicht es in der Wissenschaft zu Verzerrungen kommt. Neue Berechnungen von Naturkonstanten lagen oft näher an bereits veröffentlichten Werten, als man es im Rahmen der Standardmessfehler erwarten würde. Feynman begriff: Wissenschaftler tendieren eher dazu, bekannte Ergebnisse zu bestätigen als diese infrage zu stellen. Alles, was nicht zu diesen passt, wird wegdiskutiert oder verworfen.

Feynmans Fazit lautete daher, dass Wissenschaftler penibel darauf achten sollen, dass sie sich nicht selbst täuschen. "Denn man selbst ist die Person, die sich am leichtesten täuschen lässt."


Zusammengefasst: Forscher sind anfällig dafür, bei der Auswertung von Daten ihre Erwartungen einfließen zu lassen. Eine einzelne Analyse sollte man daher nicht zu wichtig nehmen. Experten raten, dass Forscher möglichst wenig über die Daten wissen sollten, die sie untersuchen.

Mehr lesen über Verwandte Artikel