Wissenschaft absurd Ein Datensatz - 29 Ergebnisse

Bekommen dunkelhäutige Fußballer häufiger rote Karten als hellhäutige? 29 Forscherteams haben ein und denselben Datensatz ausgewertet - und sind zu ganz unterschiedlichen Ergebnissen gekommen.

Jérôme Boateng im Frühjahr diesen Jahres: Fliegen dunkelhäutige Spieler öfter vom Platz?
Getty Images

Jérôme Boateng im Frühjahr diesen Jahres: Fliegen dunkelhäutige Spieler öfter vom Platz?

Von


Wenig Zeit? Am Textende gibt's eine Zusammenfassung.


Wir Menschen sehen die Welt so, wie wir sie sehen wollen. Oder so, wie sie nach unserer Überzeugung ist. Alles, was zu den eigenen Ansichten passt, bestätigt diese und verstärkt sie. Was sich hingegen nicht in unser Weltbild fügt, blenden wir aus oder ignorieren es. Das gilt für politische Positionen ebenso wie für wahrgenommene Stimmungen oder die Haltung zum Thema Impfen.

Auch Wissenschaftler sind nicht davor gefeit, die Welt verzerrt wahrzunehmen. Dies zeigt ein kleines Experiment, über das die beiden Wirtschaftswissenschaftler Raphael Silberzahn und Eric Uhlmann nun im Fachblatt "Nature" berichten.

Sie wollten wissen, ob eine dunkle Hautfarbe bei Fußballspielern die Wahrscheinlichkeit erhöht, mit einer roten Karte vom Platz zu fliegen. Silberzahn und Uhlmann besorgten sich einen großen Datensatz mit 2053 Spielern der Saison 2012/13 aus der Premier League, der 1. Bundesliga, der französischen Ligue 1 und der spanischen Primera División. Via Facebook und Twitter rekrutierten sie weltweit Forscher, um die Daten auszuwerten.

Die Hautfarbe beeinflusst Schiedsrichter - oder doch nicht?

29 verschiedene Teams kamen zusammen - alle erhielten denselben Datensatz und rechneten los. 20 von ihnen fanden einen statistisch signifikanten Zusammenhang zwischen der Hautfarbe und den erteilten Platzverweisen. Die meisten Forscher kamen zum Schluss, dass Dunkelhäutige eine 1,2- bis 1,5-fach höhere Wahrscheinlichkeit für eine rote Karte haben als hellhäutige.

Doch es gab auch davon abweichende Ergebnisse: Viermal hieß es, die Hautfarbe habe keinen Einfluss. Eines dieser Teams hielt diesen Zusammenhang sogar für statistisch signifikant.

Zwei Forschergruppen wiederum kamen sogar auf einen Faktor von fast zwei - also auf eine doppelt so hohe Wahrscheinlichkeit. Auch hier war ein Ergebnis angeblich statistisch signifikant. (Hier geht es zu alle 29 Einzelstudien.)

Jede Forschergruppe hatte unabhängig von den anderen eigene Hypothesen aufgestellt und getestet. Sie hatten dabei durchaus Spielräume. Beispielsweise war die Hautfarbe der Spieler in fünf Stufen angegeben - von "sehr hell" bis "sehr dunkel". Wer sollte dann als weiß gelten, wer als dunkel? Gearbeitet wurde zudem mit verschiedenen statistischen Methoden, wie dem sogenannten Bayes Clustering und der Logistischen Regression.

Experten für verzerrte Daten wider Willen

"Das Ergebnis jedes Teams ist stark beeinflusst von subjektiven Entscheidungen während der Datenanalyse", konstatieren Silberzahn und Uhlmann. Wenn nur eine der Arbeiten als Studie publiziert worden wäre, hätte man durchaus ein Ergebnis lesen können, das von anderen abweicht. "Das bedeutet, dass man eine einzelne Analyse nicht zu Ernst nehmen sollte", mahnen die Forscher.

In Sachen verzerrte Studien gelten Silberzahn und Uhlmann als Experten wider Willen. 2013 hatten sie berichtet, Menschen mit noblen Nachnamen wie Kaiser, Fürst oder König hätten in Deutschland bessere Karrierechancen als jene mit profanen Namen wie Bauer oder Müller. Doch ihre Auswertung erwies sich als fehlerhaft - der behauptete Zusammenhang existierte gar nicht, wie sie später einräumen mussten.

Das Problem verzerrter Auswertungen ist aber durchaus lösbar, wie Robert MacCoun und Saul Perlmutter in einem "Nature"-Kommentar darlegen. Sie plädieren dafür, dass Wissenschaftler möglichst wenig über die Daten wissen, wenn sie diese analysieren. In der Teilchenphysik sei es schon lange üblich, dass man Datenbeschreibungen weglasse und Werte sogar gezielt verändere - etwa indem über Zufallszahlen Rauschen hinzugefügt werde. Nur solchen blind ausgewerteten Daten könne man wirklich trauen.

Für den Datensatz der 2000 Erstligaspieler schlägt Perlmutter eine simple Manipulation vor, damit eine unvoreingenommene Auswertung gelingt: "Der einfachste Weg ist wohl, den Forschern die Daten in zwei Versionen zu geben." Eine enthalte die echten Daten, in der anderen seien die Codierungen zur Hautfarbe vertauscht. Die eigentlich Dunkelhäutigen würden dann als Hellhäutige gelten und umgekehrt. "Man darf den Forschern natürlich nicht verraten, welcher Datensatz der richtige ist, solange sie nicht beide ausgewertet haben", betont der Physik-Nobelpreisträger des Jahres 2011. Das Motto laute: Verstecke die Ergebnisse, um die Wahrheit zu finden.

Schon vor Jahrzehnten hatte der Physiker Richard Feynman (1918-1988) beobachtet, wie leicht es in der Wissenschaft zu Verzerrungen kommt. Neue Berechnungen von Naturkonstanten lagen oft näher an bereits veröffentlichten Werten, als man es im Rahmen der Standardmessfehler erwarten würde. Feynman begriff: Wissenschaftler tendieren eher dazu, bekannte Ergebnisse zu bestätigen als diese infrage zu stellen. Alles, was nicht zu diesen passt, wird wegdiskutiert oder verworfen.

Feynmans Fazit lautete daher, dass Wissenschaftler penibel darauf achten sollen, dass sie sich nicht selbst täuschen. "Denn man selbst ist die Person, die sich am leichtesten täuschen lässt."


Zusammengefasst: Forscher sind anfällig dafür, bei der Auswertung von Daten ihre Erwartungen einfließen zu lassen. Eine einzelne Analyse sollte man daher nicht zu wichtig nehmen. Experten raten, dass Forscher möglichst wenig über die Daten wissen sollten, die sie untersuchen.



Forum - Diskutieren Sie über diesen Artikel
insgesamt 76 Beiträge
Alle Kommentare öffnen
Seite 1
bapon1 08.10.2015
1. Doppelblindstudien
Wissenschaftler als Patienten. Das schlägt dem Zacken die Birne aus! Zum Hautfarbentest kann man vermutlich noch neutraler abstrakte Kategorien verwenden: Finde heraus, ob in Elementen der Menge A (heimlich: Hautfarbenstufe A) das Attribut x (heimlich: die rote Karte) signifikant häufiger vorkommt.
THINK 08.10.2015
2.
Das zeigt nur, dass viele "Forscher" (meist in sozial- und wirtschaftswissenschaftlichen Fächern) unfähig sind, wissenschaftlich zu arbeiten. Häufig sind es nur persönliche Meinungen und keine Hypothesen, die mit fragwürdigen statistischen Methoden scheinbar untermauert werden.
eisbaerchen 08.10.2015
3. Nun ja, wenn wir das nun
mal auf die Klimaforschung übertragen...und hier ging es um einen noch relativ trivialen Sachverhalt...ein Schelm, der böses dabei denkt..;-)
JaguarCat 08.10.2015
4. Tolles Experiment
Das ist ein tolles Experiment. Wobei natürlich in dem Fall, dass man die "Hautfarbe" in fünf Stufen angegeben hat, unterschiedliche Auswertungen durch unterschiedliche Teams schon geradezu vorprogrammiert sind. Ansonsten sollte man den Forschern sogar noch mehr als zwei Datensätze mit vertauschten Kriterien vorlegen: Einen rein zufälligen Datensatz, einen absichtlich gefakten (wo dann jedes Team den gewünschten Effekt finden müsste), den echten, einen echten mit vertauschten Parameter, einen echten mit zusätzlich verrauschten Daten usw. usf. Die Forscher müssen dann jeden Datensatz bewerten. Studienteams, die noch nicht mal die absichtlich gefakten Daten richtig zuordnen, dürfen dann gleich wieder nach Hause gehen...
janosh72 08.10.2015
5. Hervorragend
So viel zur Valenz (sozial)wissenschaftlicher Studien. Heißt ja nicht, dass man keine Studien mehr betreiben sollte. Aber man muss diese immer sehr skeptisch und unter Vorbehalt lesen. Ganz besonders wenn sie zur Legitimation politischer Vorhaben herangezogen werden.
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2015
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


TOP
Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.