Sozialwissenschaften Zwei von fünf Studien liefern fragwürdige Ergebnisse
"Science" und "Nature" zählen zu den renommiertesten Fachzeitschriften weltweit. Studien, die dort erscheinen, gelten als besonders glaubwürdig. Nun zeigt sich einmal mehr, dass auch bei Publikationen in solch anerkannten Journals Vorsicht geboten ist.
Im Rahmen des "Social Science Replication Project" haben Forscher aus fünf Forschungslaboren 21 Studien aus den Sozialwissenschaften wiederholt. Sie wollten prüfen, ob ihre Untersuchungen zum gleichen Ergebnis kommen wie das Original. Das wäre ein Beleg dafür, dass die erste Publikation ein valides Ergebnis geliefert hatte. Doch die Ausbeute war enttäuschend.
Von den 21 sozialwissenschaftlichen Studien aus den Jahren 2010 bis 2015 aus "Science" und "Nature" ließen sich nur 13 replizieren, berichten Forscher im Fachmagazin "Nature Human Behavior" . Das entspricht knapp 62 Prozent. Im Umkehrschluss konnten die Wissenschaftler gut 38 Prozent der Studien nicht bestätigen.
Wetten auf die Replizierbarkeit
Wiederholt wurden Experimente, in denen Studenten oder Onlineteilnehmer zufällig in zwei Gruppen aufgeteilt worden waren - etwa, um zu prüfen, wie sie sich unter unterschiedlichen Voraussetzungen in einer bestimmten Situation verhalten. Als bestätigt galt eine Studie in der Untersuchung, wenn das zentrale Ergebnis in die gleiche Richtung deutete wie im Original.
"Um eine möglichst verlässliche Statistik hinzubekommen, war die Teilnehmerzahl in den Wiederholungsstudien ungefähr fünf Mal größer als in der ersten Untersuchung", erklärt Felix Holzmeister von der Universität Innsbruck.
Im Vorfeld ließen die Wissenschaftler zudem knapp 400 Sozialwissenschaftler wetten, welche Studienergebnisse sich bestätigen würden - und welche nicht. Die Experten lagen mit ihrer Einschätzung sehr häufig richtig. 18 von 21 Ergebnissen tippten sie korrekt.
Das spreche dafür, dass die Wiederholungsstudien nicht zufällig zu einem anderen Ergebnis kamen, sondern es tatsächlich ein Problem mit den widerlegten Originalpublikationen gab, argumentieren die Forscher.
Eine Studie reicht nicht
"Die Ergebnisse zeigen, dass auch statistisch signifikante Ergebnisse mit Vorsicht interpretiert werden müssen, solange sie nicht repliziert wurden", so die Forscher der aktuellen Arbeit.
Malcolm Macleod von der University of Edinburgh betont in einem Begleitartikel , dass Wiederholungsstudien nötig seien, um eine solide Basis für weitere Forschung zu schaffen. Dazu schlagen die Wissenschaftler vor, zunächst Studien mit fragwürdigen Ergebnissen zu identifizieren und dann zu überprüfen.
"Die Ergebnisse aus unserem Wettexperiment legen nahe, dass Forscher sehr gut wissen, wie hoch die Wahrscheinlichkeit ist, dass ein Ergebnis valide ist", sagt Thomas Pfeiffer vom Institute for Advanced Study in Neuseeland. Das Wissen ließe sich nutzen, um festzulegen, bei welcher Studie ein zweiter Test besonders wichtig ist.
Probleme auch in der Psychologie
Die Diskussion über nicht replizierbare Studien läuft seit einigen Jahren. Replikationsstudien sind in der Forschergemeinde unbeliebt, weil sie kaum Renommee bringen und finden deshalb selten statt. Auf Basis der unüberprüften Einzelstudien wird dann mitunter weiter geforscht und Geld und Zeit investiert.
Derzeit laufen deshalb in verschiedenen Fachbereichen Studien, um die Replizierbarkeit von Forschungsergebnissen zu untersuchen. Einige dieser Projekte sind bereits abgeschlossen. In der Psychologie hatten Forscher beispielsweise vor einigen Jahren 97 Studien aus anerkannten Fachjournalen nachgestellt, nur in 35 Fällen führte die Prüfstudie zu einem ähnlichen Ergebnis wie das Original.
"Jemand, der mitbekommt, dass Studien so häufig nicht replizierbar sind, könnte daraus schließen, dass die Wissenschaft sich in eine falsche Richtung bewegt", sagt Brian Nosek von der University of Virginia. "Dabei ist es die große Stärke der Wissenschaft, sich ständig selbst zu hinterfragen und Fehler zu korrigieren."
Das aktuelle Projekt ist Teil einer Reformation der wissenschaftlichen Praxis. Sie soll zu mehr Offenheit und Genauigkeit führen.
So wird aktuell beispielsweise auch über Pseudo-Fachzeitschriften diskutiert, die zwar vorgeben, Studien vor der Veröffentlichung von Experten prüfen zu lassen, dies aber offensichtlich nicht umsetzen. Im Juli narrte ein Wissenschaftler eines dieser Magazine so etwa mit einer Studie über die Wischvorlieben von Politikern auf der Toilette.
