Psychologie Ergebnisse vieler Studien erweisen sich als unhaltbar

Der Test weckt Zweifel am Wissenschaftsbetrieb: Forscher haben 100 Studien aus der Psychologie wiederholt - die Ergebnisse waren aber oftmals nicht dieselben.

Psychologie-Studien im Check: Genauigkeit, Transparenz und korrektes Arbeiten sind eigentlich unverzichtbar
Corbis

Psychologie-Studien im Check: Genauigkeit, Transparenz und korrektes Arbeiten sind eigentlich unverzichtbar


Zuletzt war es Marcia McNutt, Chefredakteurin des Fachmagazins "Science", die auf die Standards der Forschung pochte: Genauigkeit, Transparenz und absolut korrektes Arbeiten seien unverzichtbare Eckpfeiler wissenschaftlichen Arbeitens. Nur dann könne ein im Labor erzieltes Ergebnis auch von anderen Forschern nachvollzogen, also reproduziert werden. Und genau dies sei die Voraussetzung für unabhängige Prüfungen, erklärte McNutt. Es sei wie ein Licht, das dann leuchte und die Wissenschaft voranbringe.

Dass dieses Licht derzeit nicht oder nur schwach leuchtet, bemängeln immer mehr Forscher. Für Aufsehen sorgte im vergangenen Jahr die Kampagne "Increasing Value, Reducing Waste" im Fachmagazin "The Lancet", in der führende Wissenschaftler forderten, dass sich die Qualität in der Forschung dringend wieder verbessern muss.

Damit ist es allerdings nicht weit her, wie jetzt ein Team um den Psychologen Brian Nosek von der University of Virginia in Charlottesville berichtet. Um die Reproduzierbarkeit psychologischer Studien zu prüfen, haben die Forscher 100 Studien nachgestellt, deren Ergebnisse zuvor in drei hochkarätigen psychologischen Fachzeitschriften erschienen waren. An dem Großprojekt waren mehr als 270 Forscher auf fünf Kontinenten beteiligt.

Sorgen um Wissenschaft sind berechtigt

Ihr Fazit: Die meisten Ergebnisse aus den psychologischen Studien ließen sich nicht replizieren. Die Mehrzahl der Wiederholungen bestätigten die Resultate der Originalstudien nicht. Der Befund wecke grundlegende Zweifel am Wissenschaftsbetrieb - weit über die Psychologie hinaus, schreibt Brian Nosek im Fachmagazin "Science".

"Seit Jahren gab es Zweifel an der Reproduzierbarkeit wissenschaftlicher Befunde, aber kaum direkte systematische Belege", wird Projektkoordinator Nosek in einer Mitteilung seiner Universität zitiert. "Dieses Projekt, das erste seiner Art, belegt substanziell, dass die Sorgen berechtigt sind."

Dies betont auch Susann Fiedler vom Bonner Max-Planck-Institut zur Erforschung von Gemeinschaftsgütern, die maßgeblich an dem Projekt beteiligt war. Oft habe es auf Fachkonferenzen Zweifel an Studien gegeben - teils weil die Resultate der Vernunft widersprachen, teils weil andere Forscher sich vergeblich damit abmühten, Ergebnisse zu bestätigen.

Ergebnisse ließen sich nicht bestätigen

In dem mehrjährigen Großprojekt prüften die Psychologen seit 2011 systematisch, wie zuverlässig publizierte Resultate tatsächlich sind. Dazu wählten sie 100 Studien aus, die im Jahr 2008 in drei renommierten psychologischen Fachzeitschriften veröffentlicht wurden.

Diese 100 Versuche stellten dann diverse Forscherteams unter möglichst identischen Bedingungen nach. Resultat: In nicht einmal der Hälfte der Fälle konnten sie das frühere Resultat bestätigen. Während 97 Prozent der Originalstudien klare Ergebnisse hatten, waren es bei den Wiederholungen lediglich 36 Prozent.

Dies müsse nicht unbedingt heißen, dass frühere Ergebnis falsch sind, betonen die Wissenschaftler in "Science". Einzelne Wiederholungsstudien könnten auch durch Zufälle oder sonstige Einflüsse andere Ergebnisse haben. Insgesamt ließen sich vor allem überraschende Befunde nicht replizieren, sagt Max-Planck-Forscherin Fiedler. Die Gründe für die abweichenden Ergebnisse seien vielschichtig.

Signifikant publiziert sich besser

Um in der Wissenschaft Erfolg zu haben, brauchen Forscher Veröffentlichungen in Fachmagazinen, meint Fiedler. Manche Ergebnisse ließen sich leichter publizieren als andere. Eben jene, die neuartig sind und in überraschende oder neue Richtungen weisen. "Wer publizieren will, braucht signifikante Ergebnisse. Was nicht signifikant ist, lässt sich oft schwer publizieren."

Das bedeute nicht, das Forscher bewusst Statistiken schönen, um erwünschte Ergebnisse vorzuweisen. Solche Fälle gebe es zwar auch, sagt Fiedler, meist seien die Prozesse aber subtiler. So könnten Forscher, die nach jahrelanger Arbeit kein klares Resultat hätten, im Nachhinein die Fragestellung verändern - unter Umständen so lange, bis das Ergebnis passt. Mitunter könne man auch nachträglich weitere Varianten wie Geschlecht oder Alter einführen.

Betroffen seien nicht nur Disziplinen wie die Psychologie, gleichermaßen trifft es auf die Naturwissenschaften zu, schreiben die Forscher in "Science". Die Probleme waren vielen schon vorher bewusst, meint Fiedler. "Aber mit dieser Veröffentlichung kann auch der Letzte nicht mehr wegschauen. Diese Fakten kann man nicht länger ignorieren."

nik/dpa



Forum - Diskutieren Sie über diesen Artikel
insgesamt 92 Beiträge
Alle Kommentare öffnen
Seite 1
fritz_strack 28.08.2015
1. Tiefer hängen!
Ich empfehle dazu folgenden Kommentar aus der Stuttgarter Zeitung: http://www.stuttgarter-zeitung.de/inhalt.gescheiterte-wiederholungen-zweifel-an-psychologischen-experimenten-page1.0cd55c2b-b71d-4a20-8874-c9f51e1fb8af.html Prof. Dr. Fritz Strack Mitglied der Leopoldina
thomasco 28.08.2015
2. Psyhologen sind keine Wissenschaftler...
wie die vieln falschen Gutachten beweisen, ähnelt diese Berufsgruppe eher den Astrologen. Ich finde es erschreckend wenn aufgrund dieser "Berufsgruppe" Gerichtsurteile gefällt werden.
Psycho Metrix 28.08.2015
3. Bescheidener sein
@Strack: Ich weiß nicht, woher sie die Gewissheit nehmen, dass es -gerade um die Sozialpsychologie, aber leider nicht nur- gut bestellt sein soll. Der Autor der StZ hat nur nicht gut genug recherchiert. Sehen sie sich doch mal die Ergebnisse hier http://bit.ly/1NLdBot an. Das Fazit davon ist, dass die typischen Studien der Psychologie, allen voran die der Sozialpsychologie, entweder uneindeutig sind (weil zu geringe statistische Power) und man einen massiven "publication bias" hat. Dazu kommt noch das weit übliche p-hacking (siehe u.a. Jens Förster).
stan the man 28.08.2015
4. Wunder oh Wunder
Ehrlich gesagt kenne ich nur eine Person, die sich getraut hat in seiner Abschlussarbeit zu schreiben, dass der beschriebene Versuch gescheitert ist. Der Junge hat trotzdem ne 1 bekommen. Denke aber mal für eine Karriere im wissenschaftlichen Betrieb wäre es demnächst besser signifikante Ergebnisse abzuliefern. Die Ergebnisse der meisten Studien dürften von der Tendenz her vorherbestimmt sein. Psychologie, Soziologie usw. bestehen im Prinzip nur daraus Alltagseindrücke zu 'objektivieren' und auf Biegen und Brechen zu 'quantifizieren'.
saldat_bumaschny 28.08.2015
5.
"Signifikant" bedeutet eben nicht einen eindeutigen Beleg für die Studienergebnisse, sondern nur, dass dies mit einer gewissen Wahrscheinlichkeit (üblicherweise 95%) der Fall ist. Werden also 100 solcher Studien zu einem Thema durchgeführt, an dem aber tatsächlich "gar nichts dran ist", so können - selbst bei ansonsten einwandfreier methodischer Vorgehensweise - im Mittel bei fünf von diesen dennoch scheinbar "signifikante" Ergebnisse eintreten. Aber die lassen sich natürlich viel leichter publizieren als die 95 anderen "ergebnislosen" Studien.
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2015
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.