Qualitätsicherung bei Studien Rettet die Wissenschaft!

Ob Krebstherapien oder neue Wege zur Herstellung von Stammzellen: In der Forschung entpuppen sich vermeintliche Sensationen regelmäßig als Pleiten. Doch es gibt Initiativen, die genau das verhindern sollen. Wir stellen vier von ihnen vor.

Von

Antikörper in der Blutbahn (Illustration): Ein Siegel soll für mehr Qualität sorgen
iStock/ Eraxion

Antikörper in der Blutbahn (Illustration): Ein Siegel soll für mehr Qualität sorgen


Hamburg - Derzeit hagelt es wissenschaftliche Studien, die möglicherweise Unsinn behaupten. Das Problem: weil sich viele von ihnen nicht reproduzieren lassen, kann kaum jemand den Wahrheitsgehalt ihrer Behauptungen überprüfen. Beispiel gefällig? Aufsehen erregte jüngst die Studie japanischer Forscher, die erklärten, ein einfaches Verfahren zur Herstellung von Stammzellen entwickelt zu haben. Schnell kamen Zweifel an der Sensation auf, mittlerweile wollen die Forscher ihre Arbeit zurückziehen, das Magazin prüft den Vorgang.

Meistens werden Fehler nicht so schnell entdeckt. Enttäuschend etwa das Ergebnis einer Analyse der Biotechnologie-Firma Amgen und der Houston University in Texas. Die Forscher hatten 53 wissenschaftliche Arbeiten der vergangenen zehn Jahre begutachtet, die alle jeweils einen neuen Ansatz der Krebstherapie, ein neues Medikament oder eine neue, vielversprechende Anwendung bekannter Therapien betrafen. Von diesen seinerzeit als hoffnungsvoll betrachteten Ansätzen werden heute nur noch sechs weiterverfolgt.

Dass es notwendig ist, einen einmal im Labor ermittelten Durchbruch nachzuvollziehen, ist ein Eckpfeiler der Wissenschaft. Nur so lässt sich der Erfolg auf weitere Forschungsarbeiten übertragen. Wenn trotz systematischen Vorgehens die Wiederholung einer Studie nicht zu den gleichen Ergebnissen führt, dann gibt es zwei Möglichkeiten: Entweder ist die Originalforschung fehlerhaft (wie dann die Replikatoren behaupten) oder die Replikation (was dann die Forscher erklären). So oder so: Irgendetwas stimmt nicht.

Die deutliche Verbesserung der Studienqualität, der leichtere Zugang zu Forschungsdaten und mehr Transparenz sind Kernforderungen der internationalen Forschergruppe, die sich Anfang des Jahres im Magazin "The Lancet" in einer spektakulären Kampagne für weniger Müll und mehr Qualität in der Forschung stark gemacht hat. Und es gibt noch mehr gute Ideen für eine bessere Wissenschaft:

Test durch Wiederholung: Was sich reproduzieren lässt, wird ausgezeichnet
Corbis

Test durch Wiederholung: Was sich reproduzieren lässt, wird ausgezeichnet

Science Exchange: Der ganz große Ansatz

Mehr als 70 Prozent der bereits veröffentlichten Forschung kann derzeit nicht reproduziert werden, die "Reproducibility Initiative" will das ändern. Hinter der Initiative steckt das Unternehmen Science Exchange, das seinen Sitz im kalifornischen Palo Alto hat.

Forscher, die ihre Ergebnisse reproduziert wissen wollen, werden an passende Arbeitskreise vermittelt. Beide Gruppen können abschließend einen Fachartikel verfassen, der im Wissenschaftsmagazin "PLoS One" publiziert wird - das Open-Access-Blatt beteiligt sich an der Initiative. Außerdem will Science Exchange die Studie zertifizieren, falls das Ergebnis bei der Wiederholung bestätigt wird.

Die Veröffentlichung einer ersten großen Arbeit steht laut Elizabeth Iorns, der Mitbegründerin von Science Exchange, kurz bevor. Im vergangenen Oktober erhielt die Initiative außerdem 1,3 Millionen Dollar durch die Laura and John Arnold Foundation, damit werden aktuell 50 der wichtigsten Krebsstudien aus den Jahren zwischen 2010 und 2012 reproduziert.

Einer unter Millionen: Kennzeichnung macht Antikörper vergleichbar

Einer unter Millionen: Kennzeichnung macht Antikörper vergleichbar

Antikörper: Das globale Gütesiegel

Seit dem vergangenen Sommer unterstützen Andreas Kessell und Tim Hiddemann vonantikoerper-online.de die Macher von Science Exchange. Das frühere Start-up mit Hauptsitz Aachen liefert heute mehr als eine Million Antikörper in Labors auf der ganzen Welt.

In der Kooperation sollen Antikörper, die in der Biomedizin genutzt werden, qualitativ vergleichbar gemacht werden. Wissenschaftler und Hersteller können diese für eine Validierung vorschlagen, jedes wird dann in den unabhängigen Labors einer der 1400 Forschungseinrichtungen im Netzwerk von Science Exchange getestet.

Bei erfolgreichem Verlauf gibt es das "Independently Validated"-Siegel mit Identifikationsnummer. Das Gütesiegel soll nicht nur dazu beitragen, dass eine wissenschaftliche Studie einfacher überprüft werden kann. Forscher sollen mit dem Erwerb eines getesteten Produktes auch die Gewissheit erhalten, dass die Antikörper wie im Testprotokoll angegeben funktionieren - und zu der zu untersuchenden Fragestellung passen.

Stammzellstudie im Fokus: Auf Open Review können Wissenschaftler die Studien ihrer Kollegen nachvollziehen und kommentieren
Research Gate

Stammzellstudie im Fokus: Auf Open Review können Wissenschaftler die Studien ihrer Kollegen nachvollziehen und kommentieren

Open Review: Die Plattform für Kritik an Studien

Vor wenigen Tagen startete das Forschernetzwerk ResearchGate aus Berlin, das Kritiker gern "Facebook für Wissenschaftler" nennen, ein neues Angebot: Open Review. Es dient dazu, Forschungsergebnisse hinsichtlich ihrer Reproduzierbarkeit schnell zu kommentieren, sagt Gründer Ijad Madisch. Andere Forscher sollen so zur Bewertung der eigenen Forschung ermutigt und Publikationen diskutiert werden.

Der Beginn von Open Review hatte es in sich. Direkt die erste Veröffentlichung war eine Dokumentation des Forschers Ka-Ho Lee und seines Teams aus Hongkong. Sie hatten sich die umstrittene japanische Stammzellstudie angesehen.

Bereits kurz nach Veröffentlichung der Studie waren kritische Stimmen laut geworden - zunächst wiesen unter anderem anonyme Blogger auf Methodenfehler hin. Ka-Ho Lee beschrieb nun eindrücklich auf Open Review die Fehler der erhofften Sensation.

Niels Taubert, Koordinator bei der Berlin-Brandenburgischen Akademie der Wissenschaften
Niels Taubert

Niels Taubert, Koordinator bei der Berlin-Brandenburgischen Akademie der Wissenschaften

Zukunft des Publizieren: Der offene Dialog

Einen interdisziplinären Ansatz wagt jetzt eine Arbeitsgruppe der Berlin-Brandenburgischen Akademie der Wissenschaften. Forscher aller Fachbereiche sind aufgerufen, sich an der Online-Konsultation zur "Zukunft des wissenschaftlichen Publizieren" zu beteiligen. Der Ansatz ist bewusst breit gefasst, sagt Niels Taubert, Koordinator der offenen Abfrage. Prinzipien für ein gutes Publikationssystem gilt es zu bewerten, Probleme zu benennen.

Dabei stehen verschiedene Fragen im Fokus: Funktioniert die Selbststeuerung der Wissenschaft? Ist ein freiheitlicher Austausch von Forschungsergebnissen möglich? Darf wissenschaftliche Qualität in der Medizin per Impact Faktor bewertet werden? Und wie transparent ist die Publikation?

Denn auch wenn viele Studien heute online veröffentlicht werden, sind gleichzeitig die Preise für wichtige Journale stark gestiegen. Das belastet die Budgets von Universitäten oder Bibliotheken, es erschwert die Versorgung der Wissenschaftler mit dem für ihre Arbeit uneingeschränkten Zugang zu den Publikationen ihrer Fachkollegen.

Bis zum 17. April können deutsche Wissenschaftler ihre Meinung kundtun, danach wird ausgewertet. Die Macher erhoffen sich eine Beteiligungsrate im vierstelligen Bereich, sagt Taubert. Das Projekt sei auch kein zahnloser Tiger, wie Kritiker behaupten. Die Vorschläge will die Akademie in Empfehlungen verarbeiten, die im kommenden Jahr veröffentlicht werden sollen. Bleibt Taubert zu wünschen, dass er recht behält.

Systemkritik: Das Fachmagazin "The Lancet" widmete der Kritik am Forschungsbetrieb ein ganzes Spezial
Corbis

Systemkritik: Das Fachmagazin "The Lancet" widmete der Kritik am Forschungsbetrieb ein ganzes Spezial

Die Forderungen der Kritiker

Die Wissenschaftler Ian Chalmers und Paul Glasziou schrieben erstmalig 2009 über den "Vermeidbaren Müll in der wissenschaftlichen Arbeit". Damals kamen sie zu dem Ergebnis, dass 85 Prozent aller Investitionen in Forschung verschwendet werden.

Diese ungeheure Zahl bezog sich sowohl auf die Arbeitskraft als auch auf Fördermittel, Zeit und Material. Es würden die falschen Fragen gestellt, mit untauglichen Studiendesigns gearbeitet und - für viele Experten der größte Fehler - es werde nicht geprüft, ob vergleichbare Untersuchungen bereits existierten. Oftmals würden Forschungsergebnisse nicht allen Wissenschaftlern zugänglich gemacht. Schuld sei meist nicht der schlampig arbeitende Wissenschaftler, der Fehler liege im System.

Anfang des Jahres legten sie mit einem großen Spezial im Fachmagazin "The Lancet" nach. Lesen Sie hier wichtigsten Punkte der Kritiker:

Setzen Sie die richtigen Prioritäten!

Corbis

Biomedizinische Forschung wird zunehmend gefördert, allein in 2010 wurden rund 240 Milliarden US-Dollar in Projekte investiert, die einen wichtigen Beitrag für die Gesundheit von Menschen schaffen sollen. Ein Großteil dieser Forschung war jedoch nicht zielführend, möglicherweise weil die Prioritäten für die einzelnen Projekte falsch gesetzt wurden. In diesem Report stellen Iain Chalmers von der James Lind Initiative in Oxford und Kollegen vor, warum Forschung mehr auf Relevanz setzen sollte und durch welche systematischen Verbesserungen sich Fehler vermeiden lassen. Wichtig sind vor allem diese vier Empfehlungen:

  • Mehr Forschung zu Faktoren sollte durchgeführt werden, die mit erfolgreicher Grundlagenforschung und Überführung in die Gesundheitsversorgung assoziiert sind.
  • Bei Beginn eines Forschungsprojekts sollte überlegt werden, wie die Ergebnisse der Grundlagenforschung in die Praxis überführt werden können.
  • Geldgeber sollten fordern, dass Anträge zu zusätzlichen primären Forschungsprojekten durch aktuelle systematische Übersichtsarbeiten, die die bisherigen Studienergebnisse zusammenfassen, begründet wird.
  • Geldgeber und Behörden sollten die Konsolidierung und Entwicklung von Informationsquellen über noch nicht abgeschlossene Studien fördern, sicherstellen, dass diese von Wissenschaftlern genutzt werden, auf die Publikation des Studienprotokolls vor Studienbeginn bestehen und zur Reduktion von überflüssiger Forschung auffordern.

Wiederholungen für mehr Qualität!

DPA

Schwächen in der Konzeption, Durchführung und Analyse von Studien in der Gesundheitsforschung können zu irreführenden Ergebnissen führen, dies wiederum zur Verschwendung wertvoller Ressourcen. Kleine Behandlungseffekte können dabei oft nur schwer von Verzerrungen der Ergebnisse durch Fehler im Studiendesign unterschieden werden. Meist fehlen detaillierte Studienprotokolle und die Berichterstattung von Forschungsprojekten ist unzureichend. Informationen, die nicht wichtig scheinen, es aber dennoch sind, fehlen. Dies kann die statistische Genauigkeit herabsetzen oder zu irreführenden Interpretationen führen.
Auch eine willkürliche Auswahl von Analysen und eine Überbetonung des Faktors Zufalls können die berichteten Ergebnisse beeinflussen. Viele Probleme entstehen außerdem, weil auf den Einsatz erfahrener Statistiker oder Methodiker verzichtet wird. Zu wenig Wert wird auf die Reproduzierbarkeit von Forschungsergebnissen gelegt, es fehlen Belohnungssysteme, die den Anreiz für mehr Qualität schaffen und Verlässlichkeit statt Neuartigkeit stellen.
John Ioannidis vom Standford Prevention Reseach Center und seine Kollegen schlagen in ihrer Analyse für den "Lancet" vor:

  • Die gesamten Forschungsprotokolle, Analysen sowie die Rohdaten einer Studie müssen veröffentlicht werden.
  • Idealerweise sollten nicht nur die abgeschlossenen Studien spätestens sechs Monate nach der Veröffentlichung des Studienberichts öffentlich zugänglich sein, sondern auch die Protokolle der laufenden Studien, inklusive der Analysepläne und Rohdaten.
  • Die Gefahr einer Verzerrung der Ergebnisse einer Studie sollte durch eine durchdachte Konzeption, eine gut ausgebildetes Team und methodische Forschung vermieden werden. Wichtig ist auch die Weiterbildung aller Beteiligten.
  • Der Anteil der Publikationen, in denen die Autoren frei von Interessenkonflikten sind, sollte erhöht werden.
  • Nur durch eine Wiederholung einer Studie durch einen unabhängigen Dritten lässt sich die Qualität kontrollieren und die Zukunft der Forschung verbessern. Der Anteil der Replikationsarbeiten sollte gesteigert werden.

Vernetztes Forschen verhindert Fehler!

Corbis

Nach der Identifizierung einer wichtigen Forschungsfrage und Auswahl eines geeigneten Studiendesigns, können Fehler auch durch die Regulierung und die Zusammenarbeit mit den Aufsichtsbehörden entstehen. Wie Rustam al-Shahi Salman und Kollegen der neurologischen Klinik der University of Edinburgh im "Lancet" schreiben, sei es zunehmend komplexer geworden, die nötigen Genehmigungen für Forschungsprojekte zu erhalten. Und obwohl viele Auflagen gemacht werden, um die Sicherheit der Studienteilnehmer zu gewährleisten, können diese durchaus zu einem Risiko für die Probanden werden.

  • Aufsichtsbehörden sollten ihren Einfluss verstärkt nutzen, um ineffiziente Forschung und unnötige Vorschriften zu reduzieren.
  • Aufsichtsbehörden und Politiker sollten zusammen mit Forschern, Patienten und Vertretern der Gesundheitsberufe für einheitliche, sichere und plausible gesetzliche Auflagen sorgen.
  • Forscher und Forschungsleiter sollten die Effizienz der Rekrutierung von Studienteilnehmern, die Datenüberwachung und den Datenaustausch durch intelligentes Forschungsdesigns steigern.
  • Alle Beteiligten, insbesondere die Entscheider in den Gesundheitssystemen, sollten die Integration der Forschung in die tägliche klinischen Praxis fördern. Regulierungsbehörden und Forscher sollten die Einhaltung jeder dieser Empfehlungen überwachen und Kennzahlen veröffentlichen.

Offener Zugang zu Forschungsergebnissen!

picture alliance / dpa

Methoden und Ergebnisse der Gesundheitsforschung werden in Studienprotokollen, umfassenden Studienberichten und Zeitschriften dokumentiert. Diese stehen jedoch nur selten allen Forschern zur Verfügung, Zeitschriftenberichte sind nur für die Hälfte aller Studien verfügbar und werden durch selektive Berichterstattung von Methoden und Ergebnissen verfälscht. Darüber hinaus variiert die verfügbare Information in den Studienprotokollen und die Berichte sind oft unvollständig. Wenn aber unvollständige Informationen über Studien zugänglich sind, gehen Milliarden in der Finanzierung verloren. Die Ergebnisse werden verfälscht, was die Forschung und Versorgung der Patienten nachteilig beeinflusst. Ann-Wen Chan vom Womens College Research Institute der University of Toronto (Kanada) gleichnamigen kanadischen Bundesstaat empfiehlt drei Hauptmaßnahmen, um diese Situation zu verbessern:

  • Akademische Institutionen und Geldgeber sollten stets in Forschungsprotokolle und Studienberichte nachprüfen können, ob sich ein geplantes Projekt wirklich lohnt oder vielleicht längst anderswo durchgeführt wurde.
  • Standards für den Inhalt von Studienprotokollen und Studienberichten sollten für den Datenaustausch konsequent weiterentwickelt werden - und für alle Arten der Gesundheitsforschung vereinheitlicht werden.
  • Schließlich sollte Zeitschriften, Sponsoren, Ethikkommissionen, Aufsichtsbehörden und Gesetzgeber die Umsetzung und Einhaltung der Richtlinien unterstützen und kontrollieren.

Mangelhafte Studien aussortieren!

Corbis

Verwertbare Forschungsberichte sollten klar beschreiben, welche Fragen angesprochen wurden, was getan wurde und was die Ergebnisse bedeuten. Gerade in diesen Punkten sind die Zeitschriften oft mangelhaft, sagen Paul Glasziou und seine Kollegen des Centers for Research in Evidence Based Practice der Bond University in Australien. Eine Analyse veröffentlichter Berichte klinischer Studien zeigte, dass die schlechten Beschreibungen dazu führten, dass 40 bis 89 Prozent nicht replizierbar waren. Vergleiche von Protokollen zeigten, dass in diesen Studien mindestens ein wesentliches Ergebnis verändert wurde, oder es fehlte ganz. Forscher, die neue Studien beginnen, interpretieren ihre Ergebnisse selten in Bezug zu systematischen Übersichtsarbeiten und zitierten eine sehr kleine und verzerrte Auswahl aus den vergangenen relevanten Studien. Obwohl am besten in Berichten von kontrollierten Studien dokumentiert, tritt unzureichende Dokumentation in allen Arten von Studien auf, in präklinischen Studien genauso wie in Diagnosestudien oder epidemiologischen Arbeiten. Obwohl ein differenzierteres Verständnis für die komplexen Abläufe einer Studie notwendig ist, können einige sofortige Maßnahmen ergriffen werden, um die Berichterstattung über die Forschung zu verbessern.

  • Das bestehende System muss abgelöst werden. Nicht die Menge publizierter Arbeiten sollte honoriert werden, sondern deren Qualität.
  • Qualitativ mangelhafte Studien müssen konsequent aussortiert werden, dazu sollten Stellen geschaffen werden, die die Qualität der Forschung überwachen und fördern.
  • Wissenschaftler sollten regelmäßig in ihrer Studienarbeit weitergebildet werden - anhand von allgemein geltenden Qualitätsstandards müssen Regeln für Berichte geschaffen werden.

Mehr zum Thema


Forum - Diskutieren Sie über diesen Artikel
insgesamt 27 Beiträge
Alle Kommentare öffnen
Seite 1
Alwran 23.03.2014
1.
Alles soweit schön und gut. Allerdings steht hinter vielen der Forderungen der Weg zu einer industrialisierten Forschung. In vielen Fällen würde es dazu führen das Forschung, deren Wert erst nach 20 Jahren erkannt wurde, gar nicht erst gefördert. Forschung deren Verwertbarkeit (sprich: Praktische Nutzbarkeit niedrig) niedrig ist ebenfalls nicht gefördert würde dies würde z.b. gering verbreitete genetische Erkrankungen betreffen. Der Ansatz zu mehr Qualitätssicherung und mehr Sorgfalt ansich ist allerdings richtig. Der Gesamtansatz muss aber in Details genauer Ausgearbeitet werden.
surfers 23.03.2014
2. Knappe Gelder, viel Druck
Es ist kein Wunder, dass so viel Müll publiziert wird... Das Geld an den Unis ist knapp, Post-docs werden nur noch befristet mit Jahresverträgen eingestellt. Natürlich wird dann unter Druck das beste aus einer Studie rausgeholt. Das ist ein Selbstgemachtes Problem. Publikationen sind das Aushängeschild eines Naturwissenschaftlers. Je mehr Paper man publiziert desto besser sind die Chancen auf dem Arbeitsmarkt. Die Bedingungen an den Universitäten müssen langfristig verbessert werden, damit talentierte Wissenschaftler eine Chance haben qualitative und nicht quantitative Ergebnisse zu produzieren.
Iubien 23.03.2014
3. Rettet die Wissenschaft!
Richtiger Titel, richtiges Thema falsche Begründung und falsche Schlussfolgerung. Es Hilft nicht da Gerüst zu kitten, wenn es Innen marode ist. Die Frage ist doch einfach, wie kommt es zu so vielen nicht reproduzierbaren Studien? Einfache Antwort: die prekäre Sitution in der Wissenschaft. Der erste sichere Job ist die Professur! Davor heißt es Jahre lang bangen. Aufopferung für die Wissenschaft gehört zum Berufsbild und dem Berufsverständnis, ganz klar! Jedoch zerren die unbefristeten Verträge und die Unsicherheiten, ob man es überhaupt bis zur Professur schafft, an den Nerven. Und das liegt auch einfach daran, dass es tatsächlich wenig mit Kompetenz und Können zu tun hat, ob man aufsteigt sondern auch viel mit Glück und Geklüngel. Natürlich darf eine lange Liste an Publikationen nicht fehlen. Und weil nicht die Qualität der Wissenschaft, sondern die Quantität der Publikationen zählt, werden öfter mal im Zeitstress versehentlich, aber sicher auch absichtlich falsche Ergebnisse veröffentlicht. Da aber die Publikationsliste immer noch das Maß aller Dinge ist, sammeln sich in der Karriereleiter oben immer mehr diejenigen an, die schnell aber vielleicht "unsauber" publizieren. Was gute Forschng ausmacht ist Zeit: Zeit zum Reflektieren, Zeit um Experimente zu planen und Zeit um Experimente sauber durchzuführen. Und es fehlt die Aktzeptanz auch negative Ergebnisse hinzunehmen. Und das obwohl Wissenschaft nunmal auch auf "Try and Error" beruht. Die Forderung man solle nur an Projekten forschen die auf jeden Fall klappen, hat nichts mit Wissenschaft zu tun. Die Forderung anwendungsorientiert zu forschen hat auch nichts mit echter Grundlagenforschung zu tun. Nur unvoreingenommene und uneingegrenzte Grundlagenforschung, kann den echten neuen Durchbruch bringen.
L_P 23.03.2014
4. Wissenschaft optimiert sich im Moment nicht selbst
Die Wissenschaft kann sich in einem System, in dem letzten Endes Bänker über die Vergabe von Projektgeldern entscheiden, nicht optimieren. Der Bänker versteht Studiendesigns, Physiologie, Pathologie, Epidemiologie etc. nicht. Er will zählbare "deliverables" wie Publikationen, Patente, Spin-offs. Ob diese auf Lügen basieren und lediglich eine platzende Blase aufpusten oder auf Wahrheit und einen soliden Fortschritt auslösen, scheint den Bänker nur am Rande zu interessieren. Denn auch mit Blasen lässt sich kurzfristig Geld verdienen. + Qualitativ hochwertige Wissenschaft kann nur dort stattfinden, wo Geldgeber existieren, wie das zeitlich und räumlich grenzenlose Wesen der Wissenschaft akzeptieren. Wer in definierten Zeiträumen definierte Ergebnisse in einer definierten Region will, darf nicht hoffen, qualitativ hochwertige Wissenschaft zu erhalten.
Icstorm 23.03.2014
5. Mehr Bürokratie
Letztlich wird mehr Bürokratie gefordert. Ich kann mir vorstellen, dass das insbesondere Doktoranten, die nicht an einer weiteren wissenschaftlichen Karriere interessiert sind, abschreckt. Vielleicht gut so?
Alle Kommentare öffnen
Seite 1

© SPIEGEL ONLINE 2014
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH


Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.