Transparenz in der Wissenschaft Kampf dem Forschungsmüll

Namhafte Forscher kritisieren seit Jahren die Veröffentlichungspraxis von Fachmagazinen. Darin stünde teilweise wenig Gehaltvolles. 30 internationale Magazine geloben Besserung. Hält ihre Qualitätsoffensive, was sie verspricht?

Mehr Qualität gefordert: Der Druck für Forscher, in großen Journals zu veröffentlichen, sorgt für Probleme im Wissenschaftsbetrieb
Corbis

Mehr Qualität gefordert: Der Druck für Forscher, in großen Journals zu veröffentlichen, sorgt für Probleme im Wissenschaftsbetrieb


Dieses Editorial ist besonders: In der aktuellen Ausgabe des Fachmagazins "Science" pocht Chefredakteurin Marcia McNutt unmissverständlich auf die Standards in der Forschung: Genauigkeit, Transparenz und absolut korrektes Arbeiten seien unverzichtbare Eckpfeiler wissenschaftlichen Arbeitens. Nur dann könne ein von Wissenschaftlern im Labor erzieltes Ergebnis auch von anderen nachvollzogen werden - die Voraussetzung für unabhängige Prüfungen und auch Korrekturen. Es sei wie ein Licht, das dann leuchte, ein Licht, das die Wissenschaft voran bringe, schwört McNutt ihre Leser ein.

Um diesen transparenten Ansatz ist es jedoch schon länger nicht gut bestellt, muss nicht nur die "Science"-Chefredakteurin zugeben. Ob Krebstherapien oder neue Wege zur Herstellung von Stammzellen: Vermeintliche Sensationen der jüngsten Zeit entpuppten sich regelmäßig als Pleiten. Aufsehen erregte etwa die Studie japanischer Forscher, die erklärten, ein einfaches Verfahren zur Herstellung von Stammzellen gefunden zu haben. Schon bald kamen Zweifel auf, letztlich zogen die Forscher diese Studie wieder zurück.

Bringt der neue Codex den Qualitätsumschwung?

Nun ziehen die Fachjournale die Konsequenz: Mehr als 30 wichtige internationale Magazine und Forschungsinstitute haben sich auf einen neuen Codex der Reproduzierbarkeit geeinigt. Zu den Unterzeichnern zählen Fachjournale wie "Science", "Nature", das "British Medical Journal" oder "Cell". Das Ziel: Die Studienqualität zu verbessern und das Vertrauen in die Forschung wiederherstellen.

Folgende Punkte gehören zum Codex:

  • Für mehr Transparenz soll eine effiziente und übersichtliche Darstellung der Methoden der Studie sorgen. Die Gutachter sollen während der redaktionellen Bearbeitung der eingereichten Abhandlungen Checklisten verwenden. So wollen die Magazine sicherstellen, dass die wesentlichen methodischen und analytischen Informationen enthalten sind.

  • Alle Datensätze, auf denen die Schlussfolgerungen einer Veröffentlichung beruhen, müssen von den Forschern zur Verfügung gestellt werden und auch nach der Publikation noch bereitliegen.

  • Die Journale sollen neue Vorgaben für eine strengere Prüfung statistischen Analysen entwerfen.

  • Ein entscheidender Punkt: Das biologischen Material, das in der Studie verwendet wurde - Antikörper, Zelllinien, Tiere - muss eindeutig beschrieben sein. Damit die Forscher, die die Studie nachprüfen oder ein Experiment wiederholen wollen, klar wissen, womit gearbeitet wurde.

Schicke Studien vor wichtigen Grundlagen

Klingt alles hübsch, aber: Das jetzt Geforderte sollte längst selbstverständlich sein. Und auch die Diskussionen um die Forschung- und Veröffentlichungspraxis sind nicht neu. Bereits 2009 hatten sich die Wissenschaftler Ian Chalmers und Paul Glaziou im Fachjournal "Lancet" mit diesem Thema beschäftigt. Sie kamen zu dem Ergebnis, dass 85 Prozent aller Forschungsinvestitionen in den Lebenswissenschaften (Biologie, Medizin) verschwendet werden, da mit falschen Studiendesigns gearbeitet werde oder zu Beginn die falschen Fragen gestellt würden. Anfang des Jahres beschrieb die Wissenschaftselite in gleich fünf großen Analysen unter der Überschrift "Increasing Value, Reducing Waste", wie die Qualität in der Forschung verbessert und Verschwendung verringert werden kann.

Schuld sei meist nicht der schlampig arbeitende Wissenschaftler, der Fehler liege vielmehr im System: Die Veröffentlichungspraxis der großen Journale trage viel zu den Problemen bei, kritisierte Randy Shekman, Nobelpreisträger für Medizin 2013. Der Druck für Forscher, in großen Magazinen wie "Cell", "Nature" oder "Science" zu publizieren, verleite dazu, eher angesagter statt wichtiger Forschung nachzugehen. Die Chefredakteure der Fachmagazine seien keine "Wissenschaftler, sondern Fachleute, die Furore machenden Studien den Vorzug geben und dabei so restriktiv vorgehen wie Modedesigner bei Limited-Edition-Handtaschen".

Wenn aber nur bekannt wird, was beliebt ist und scheinbar Unwichtiges unbekannt bleibt, verzerrt dies den Blick, kritisiert auch Gerd Antes, Direktor des deutschen Cochrane Zentrums. Die Cochrane Collaboration ist ein weltweites Forschernetzwerk, das Übersichtsarbeiten zu wichtigen medizinischen Themen veröffentlich. Antes gilt als ein Wegbereiter der evidenzbasierten Medizin in Deutschland. Es wäre zwar löblich, wenn die 30 Journale das Problem nun ebenfalls erkannt hätten und gegensteuern wollen, sagt Antes. Der Experte der unabhängigen Forschungsgesellschaft bleibt dennoch kritisch. Vieles bliebe im Vagen. Entscheidende Punkte, die das wissenschaftliche System verbessern könnten, würden in den Plänen der Journals jedenfalls nicht behandelt. In einem Kommentar für SPIEGEL ONLINE zum Lancet-Spezial hatte er diese bereits zu Beginn diesen Jahres klar benannt.

In der zukünftigen Umsetzung werden sich die Journale nun messen lassen müssen, wie ernst ihnen ihre neuen Ziele sind. "Science"-Chefredakteurin McNutt ist optimistisch, "dass diese Leitlinien nicht als belastend angesehen werden, sondern als Teil der Qualitätskontrolle, die das Vertrauen der Öffentlichkeit in die Wissenschaft stärken."

----------------------------------------------------------------------

Das forderte die Wissenschaftselite im Lancet-Spezial "Increasing Value, Reducing Waste" (01/2014):

Setzen Sie die richtigen Prioritäten!

Corbis

Biomedizinische Forschung wird zunehmend gefördert, allein in 2010 wurden rund 240 Milliarden US-Dollar in Projekte investiert, die einen wichtigen Beitrag für die Gesundheit von Menschen schaffen sollen. Ein Großteil dieser Forschung war jedoch nicht zielführend, möglicherweise weil die Prioritäten für die einzelnen Projekte falsch gesetzt wurden. In diesem Report stellen Iain Chalmers von der James Lind Initiative in Oxford und Kollegen vor, warum Forschung mehr auf Relevanz setzen sollte und durch welche systematischen Verbesserungen sich Fehler vermeiden lassen. Wichtig sind vor allem diese vier Empfehlungen:

  • Mehr Forschung zu Faktoren sollte durchgeführt werden, die mit erfolgreicher Grundlagenforschung und Überführung in die Gesundheitsversorgung assoziiert sind.
  • Bei Beginn eines Forschungsprojekts sollte überlegt werden, wie die Ergebnisse der Grundlagenforschung in die Praxis überführt werden können.
  • Geldgeber sollten fordern, dass Anträge zu zusätzlichen primären Forschungsprojekten durch aktuelle systematische Übersichtsarbeiten, die die bisherigen Studienergebnisse zusammenfassen, begründet wird.
  • Geldgeber und Behörden sollten die Konsolidierung und Entwicklung von Informationsquellen über noch nicht abgeschlossene Studien fördern, sicherstellen, dass diese von Wissenschaftlern genutzt werden, auf die Publikation des Studienprotokolls vor Studienbeginn bestehen und zur Reduktion von überflüssiger Forschung auffordern.

Wiederholungen für mehr Qualität!

DPA

Schwächen in der Konzeption, Durchführung und Analyse von Studien in der Gesundheitsforschung können zu irreführenden Ergebnissen führen, dies wiederum zur Verschwendung wertvoller Ressourcen. Kleine Behandlungseffekte können dabei oft nur schwer von Verzerrungen der Ergebnisse durch Fehler im Studiendesign unterschieden werden. Meist fehlen detaillierte Studienprotokolle und die Berichterstattung von Forschungsprojekten ist unzureichend. Informationen, die nicht wichtig scheinen, es aber dennoch sind, fehlen. Dies kann die statistische Genauigkeit herabsetzen oder zu irreführenden Interpretationen führen.
Auch eine willkürliche Auswahl von Analysen und eine Überbetonung des Faktors Zufalls können die berichteten Ergebnisse beeinflussen. Viele Probleme entstehen außerdem, weil auf den Einsatz erfahrener Statistiker oder Methodiker verzichtet wird. Zu wenig Wert wird auf die Reproduzierbarkeit von Forschungsergebnissen gelegt, es fehlen Belohnungssysteme, die den Anreiz für mehr Qualität schaffen und Verlässlichkeit statt Neuartigkeit stellen.
John Ioannidis vom Standford Prevention Reseach Center und seine Kollegen schlagen in ihrer Analyse für den "Lancet" vor:

  • Die gesamten Forschungsprotokolle, Analysen sowie die Rohdaten einer Studie müssen veröffentlicht werden.
  • Idealerweise sollten nicht nur die abgeschlossenen Studien spätestens sechs Monate nach der Veröffentlichung des Studienberichts öffentlich zugänglich sein, sondern auch die Protokolle der laufenden Studien, inklusive der Analysepläne und Rohdaten.
  • Die Gefahr einer Verzerrung der Ergebnisse einer Studie sollte durch eine durchdachte Konzeption, eine gut ausgebildetes Team und methodische Forschung vermieden werden. Wichtig ist auch die Weiterbildung aller Beteiligten.
  • Der Anteil der Publikationen, in denen die Autoren frei von Interessenkonflikten sind, sollte erhöht werden.
  • Nur durch eine Wiederholung einer Studie durch einen unabhängigen Dritten lässt sich die Qualität kontrollieren und die Zukunft der Forschung verbessern. Der Anteil der Replikationsarbeiten sollte gesteigert werden.

Vernetztes Forschen verhindert Fehler!

Corbis

Nach der Identifizierung einer wichtigen Forschungsfrage und Auswahl eines geeigneten Studiendesigns, können Fehler auch durch die Regulierung und die Zusammenarbeit mit den Aufsichtsbehörden entstehen. Wie Rustam al-Shahi Salman und Kollegen der neurologischen Klinik der University of Edinburgh im "Lancet" schreiben, sei es zunehmend komplexer geworden, die nötigen Genehmigungen für Forschungsprojekte zu erhalten. Und obwohl viele Auflagen gemacht werden, um die Sicherheit der Studienteilnehmer zu gewährleisten, können diese durchaus zu einem Risiko für die Probanden werden.

  • Aufsichtsbehörden sollten ihren Einfluss verstärkt nutzen, um ineffiziente Forschung und unnötige Vorschriften zu reduzieren.
  • Aufsichtsbehörden und Politiker sollten zusammen mit Forschern, Patienten und Vertretern der Gesundheitsberufe für einheitliche, sichere und plausible gesetzliche Auflagen sorgen.
  • Forscher und Forschungsleiter sollten die Effizienz der Rekrutierung von Studienteilnehmern, die Datenüberwachung und den Datenaustausch durch intelligentes Forschungsdesigns steigern.
  • Alle Beteiligten, insbesondere die Entscheider in den Gesundheitssystemen, sollten die Integration der Forschung in die tägliche klinischen Praxis fördern. Regulierungsbehörden und Forscher sollten die Einhaltung jeder dieser Empfehlungen überwachen und Kennzahlen veröffentlichen.

Offener Zugang zu Forschungsergebnissen!

picture alliance / dpa

Methoden und Ergebnisse der Gesundheitsforschung werden in Studienprotokollen, umfassenden Studienberichten und Zeitschriften dokumentiert. Diese stehen jedoch nur selten allen Forschern zur Verfügung, Zeitschriftenberichte sind nur für die Hälfte aller Studien verfügbar und werden durch selektive Berichterstattung von Methoden und Ergebnissen verfälscht. Darüber hinaus variiert die verfügbare Information in den Studienprotokollen und die Berichte sind oft unvollständig. Wenn aber unvollständige Informationen über Studien zugänglich sind, gehen Milliarden in der Finanzierung verloren. Die Ergebnisse werden verfälscht, was die Forschung und Versorgung der Patienten nachteilig beeinflusst. Ann-Wen Chan vom Womens College Research Institute der University of Toronto (Kanada) gleichnamigen kanadischen Bundesstaat empfiehlt drei Hauptmaßnahmen, um diese Situation zu verbessern:

  • Akademische Institutionen und Geldgeber sollten stets in Forschungsprotokolle und Studienberichte nachprüfen können, ob sich ein geplantes Projekt wirklich lohnt oder vielleicht längst anderswo durchgeführt wurde.
  • Standards für den Inhalt von Studienprotokollen und Studienberichten sollten für den Datenaustausch konsequent weiterentwickelt werden - und für alle Arten der Gesundheitsforschung vereinheitlicht werden.
  • Schließlich sollte Zeitschriften, Sponsoren, Ethikkommissionen, Aufsichtsbehörden und Gesetzgeber die Umsetzung und Einhaltung der Richtlinien unterstützen und kontrollieren.

Mangelhafte Studien aussortieren!

Corbis

Verwertbare Forschungsberichte sollten klar beschreiben, welche Fragen angesprochen wurden, was getan wurde und was die Ergebnisse bedeuten. Gerade in diesen Punkten sind die Zeitschriften oft mangelhaft, sagen Paul Glasziou und seine Kollegen des Centers for Research in Evidence Based Practice der Bond University in Australien. Eine Analyse veröffentlichter Berichte klinischer Studien zeigte, dass die schlechten Beschreibungen dazu führten, dass 40 bis 89 Prozent nicht replizierbar waren. Vergleiche von Protokollen zeigten, dass in diesen Studien mindestens ein wesentliches Ergebnis verändert wurde, oder es fehlte ganz. Forscher, die neue Studien beginnen, interpretieren ihre Ergebnisse selten in Bezug zu systematischen Übersichtsarbeiten und zitierten eine sehr kleine und verzerrte Auswahl aus den vergangenen relevanten Studien. Obwohl am besten in Berichten von kontrollierten Studien dokumentiert, tritt unzureichende Dokumentation in allen Arten von Studien auf, in präklinischen Studien genauso wie in Diagnosestudien oder epidemiologischen Arbeiten. Obwohl ein differenzierteres Verständnis für die komplexen Abläufe einer Studie notwendig ist, können einige sofortige Maßnahmen ergriffen werden, um die Berichterstattung über die Forschung zu verbessern.

  • Das bestehende System muss abgelöst werden. Nicht die Menge publizierter Arbeiten sollte honoriert werden, sondern deren Qualität.
  • Qualitativ mangelhafte Studien müssen konsequent aussortiert werden, dazu sollten Stellen geschaffen werden, die die Qualität der Forschung überwachen und fördern.
  • Wissenschaftler sollten regelmäßig in ihrer Studienarbeit weitergebildet werden - anhand von allgemein geltenden Qualitätsstandards müssen Regeln für Berichte geschaffen werden.

Forum - Diskutieren Sie über diesen Artikel
insgesamt 22 Beiträge
Alle Kommentare öffnen
Seite 1
f_wohlgemuth 06.11.2014
1.
Es geht häufig weniger darum, dass Themen "angesagt" sind, als darum, dass Redakteure und Veröffentlicher gut miteinander können - oder der Veröffentlicher mit denen, die das von ihm verzapfte begutachten. Bei sehr vielen Arbeiten gäbe es außerdem eine ganz einfache Forderung, die heute sehr leicht zu erfüllen wäre: Veröffentlich wird nur, wenn die gesamten der Veröffentlichung zugrunde liegenden Daten vom Zeitpunkt der Veröffentlichung an zeitlich unbegrenzt und ohne Zugangsbeschränkung über das Internet zur Verfügung stehen. Das würde auch die Qualitätsprüfungen nachträglich transparenter machen.
inverts 06.11.2014
2. nicht *unbedingt* falsch
Unter Kollegen heisst es bekanntlich, dass ein Paper in Science/Nature/PNAS/... nicht *unbedingt* falsch ist. Die richtigen Arbeiten kommen nicht in der ersten Liga heraus, sondern in der seriösen zweiten. Wie viele Rückzüge gibt es in den Journal of xyz? Eben. Das Malheur wird auch nachträglich vom Impact Factor und seinen verschiedenen Abwandlungen getrieben, welchen zu viel Wichtigkeit beigemessen wird. Auch die Anzahl an Autoren auf einem paper ist oft aberwitzig. Es ist ja jetzt schon so, dass single author papers suspekt sind. Verkehrte Welt! Das Bekenntnis der Gang of 30 (Cladistics lässt grüssen) ist eine amüsante mea culpa; ändern wird sich so schnell nichts.
Zensi Erter 06.11.2014
3. In die falsche Richtung...
Eine Beschraenkung der Forschungsfoerderung auf "relevante" Themen ist ein Schritt in die falsche Richtung. Viele Entdeckungen, die das groesste Potenzial zur Verbesserung von biomedizinischen Verfahren haben, wurden ganz zufaellig gemacht ohne einen direkten Nutzen in der Klinik im Auge gehabt zu haben. Juengstes Beispiel ist CRISPR-Cas, das ganz ohne klinische Hintergedanken "gefunden" wurde, moeglicherweise in 20 Jahren die gezielte Veraenderung von Erbgut in kranken Zellen oder Geweben ermoeglicht. Der Grundlagenforschung den hahn abzudrehen, weil sie eben zu wenig "angewandt" ist, ist kurzsichtig und dumm.
ohminus 06.11.2014
4. Einspruch
"Schuld sei meist nicht der schlampig arbeitende Wissenschaftler, der Fehler liege vielmehr im System:" Schuld ist häufig doch der schlampig arbeitende "Wissenschaftler", weil nicht wenige Publikationen aus der Feder von Leuten stammen, die nie wirklich wissenschaftliches Arbeiten gelernt haben, sondern wie man Patienten diagnostiziert und behandelt. Da mangelt es teilweise an elementarsten Statistik-Kenntnissen.
Friedrich der Streitbare 06.11.2014
5. Ich bin heilfroh
damit nichts mehr zu tun zu haben, wenn ich jetzt die Liste dieser geplanten, neuen Anforderungen an Anträge und Publikationen sehe. Nur noch mehr Papierblödsinn, den man abarbeiten muss, um an Geld oder Publikationsraum zu komme. Im Wesentlichen wird sich dadurch aber gar nichts ändern. Die Schaumschläger werden auch damit bestens fertig werden und ihre schillernden Blasen produzieren.
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2014
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


TOP
Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.