Gute Entscheidungen für oder gegen eine Behandlung brauchen zuverlässige Informationen aus der klinischen Forschung. Aber wie kann man zwischen seriösen und fragwürdigen oder gar gefälschten Forschungsergebnissen unterscheiden? Unsere Gastautorin Lisa Bero beschäftigt sich seit 30 Jahren mit dieser Frage.
Wenn Sie unter chronischen Schmerzen, Diabetes, Herzproblemen oder einer anderen Erkrankung leiden, möchten Sie sicher sein, dass Ihre Ärztin oder Ihr Arzt Ihnen eine wirksame Behandlung anbietet. Sie möchten weder Zeit noch Geld für etwas verschwenden, das nicht wirkt, oder etwas einnehmen, das Ihnen schaden könnte.
Für eine gute Entscheidung für oder gegen eine Behandlung ist die medizinische Forschung die beste Informationsquelle. Aber woher wissen Sie, ob diese Informationen zuverlässig und evidenzbasiert sind? Und wie kann man zwischen seriösen und fragwürdigen Forschungsergebnissen unterscheiden?
Bis zur Veröffentlichung von Forschungsergebnissen ist es ein langer Weg. Wissenschaftler*innen entwerfen Experimente und Studien, um Fragen zur Behandlung oder Vorbeugung zu untersuchen und befolgen bei der Durchführung bestimmte wissenschaftliche Grundsätze und Standards. Dann werden die Ergebnisse zur Veröffentlichung bei einer Fachzeitschrift eingereicht. Redakteur*innen und Peer-Reviewer*innen (also andere Personen aus dem Fachgebiet der Forscher) machen Verbesserungsvorschläge. Wenn die Studie schließlich für akzeptabel befunden wird, wird sie als Artikel in einer Fachzeitschrift veröffentlicht.
Fälschung in der Wissenschaft ist schwer zu erkennen
Auf diesem langen Weg kann jedoch einiges schief gehen. Der Peer Review ist nicht dazu gedacht, gefälschte Daten zu erkennen. Gefälschte Forschungsergebnisse können schwer zu erkennen sein, sowohl für Gutachter*innen, als auch die Öffentlichkeit. Aber wenn man die richtigen Fragen stellt, ist es doch möglich.
Obwohl sich die allermeisten Forschenden an strenge Standards halten, kommt es immer wieder vor, dass Journale Studien mit gefälschten oder hochgradig fehlerhaften Ergebnissen veröffentlichen. Die Zahl solcher gefälschten Studien genau abzuschätzen, ist schwierig. Eine Untersuchung von 526 Patientenstudien in der Anästhesiologie kam zu dem Schluss, dass 8 % davon gefälschte Daten enthielten und 26 % kritische Mängel aufwiesen.
Als Professorin für Medizin und Public Health beschäftige ich mich seit 30 Jahren mit Verzerrungen bei der Planung, Durchführung und Veröffentlichung wissenschaftlicher Forschung. Ich habe Methoden entwickelt, um Probleme mit der Integrität von Forschung zu verhindern und aufzudecken. Schließlich wollen wir Entscheidungen über die Gesundheit auf möglichst vertrauenswürdige Evidenz gründen, nicht auf Fälschungen. Das Aufspüren von Daten, denen man nicht trauen kann, sei es aufgrund von vorsätzlichem Betrug oder einfach nur aufgrund schlechter Forschungspraktiken, ist der Schlüssel, um nur die zuverlässigsten Erkenntnisse für Entscheidungen nutzen zu können.
Systematische Überprüfungen helfen dabei, schwache Studien aufzuspüren
Die vertrauenswürdigste Evidenz entsteht, wenn Forscher die Ergebnisse mehrerer Studien in einer sogenannten systematischen Übersichtsarbeit zusammenfassen. Für solche „Systematic Reviews“ identifizieren und bewerten Forscher*innen alle Studien zu einem bestimmten Thema und fassen deren Ergebnisse zusammen. Den weltweit anerkannten Goldstandard für solche Arbeiten setzen seit den neunziger Jahren die systematischen Reviews von Cochrane.
Dafür sichten, bewerten und kombinieren die Autor*innen nicht nur die Ergebnisse von vielleicht Zehntausenden von Patient*innen. Dabei können sie auch spezielle Filter nutzen, die potentiell betrügerische Studien beim Review-Prozess erkennen sollen. Diese erlauben es sicherzustellen, dass gefälschte Studienergebnisse nicht in die Ergebnisse des Reviews und schließlich in darauf basierende medizinische Empfehlungen einfließen. Das bedeutet, dass gründlich und methodisch hochwertig durchgeführte Studien in einer systematischen Übersichtsarbeit das meiste Gewicht haben. Methodisch schlechte Studien dagegen werden zum großen Teil bereits auf der Grundlage strenger Ein- und Ausschlusskriterien ausgeschlossen.
Um besser zu verstehen, wie man unzuverlässige Studien erkennen kann, hat mein Forschungsteam kürzlich 30 internationale Expert*innen aus 12 Ländern befragt. Sie erklärten uns, dass eine betrügerische Studienpublikation schwer zu erkennen sein kann, weil sie, wie es ein Experte ausdrückte, „so angelegt ist, dass sie auf den ersten Blick unbedenklich aussieht“.
Ging die Studie durch eine Ethikkommission? Wurde sie vorab registriert? Erscheinen die Ergebnisse plausibel?
Wie unsere kürzlich veröffentlichte Interview-Analyse zeigt, lassen sich bei genauerem Hinsehen durchaus Hinweise finden, wenn die Studiendaten „massiert“ (also im Sinne eines gewünschten Ergebnisses „bereinigt“) wurden oder in Wirklichkeit nicht der strengen Methodik gefolgt sind, wie vorgegeben. Auch komplett gefälschte Forschungsergebnisse lassen sich an bestimmten Merkmalen erkennen. Unsere Studie liefert wichtige Hinweise darauf, wie man medizinische Forschung erkennen kann, die stark fehlerhaft oder vorsätzlich gefälscht ist und deren Ergebnissen man nicht vertrauen sollte.
Die von uns befragten Expert*innen schlugen einige Schlüsselfragen vor, die sich Gutachter einer Studie stellen sollten: Ging die Studie zum Beispiel durch eine Ethikkommission? Wurde sie vorab registriert? Erscheinen die Ergebnisse plausibel? Stammt die Finanzierung der Studie von einer unabhängigen Quelle und nicht von dem Unternehmen, dessen Produkt sie testet?
Lautet die Antwort auf eine dieser Fragen „Nein“, dann sollte man die Studie genauer überprüfen.
Wir haben festgestellt, dass Forschende, die Evidenz überprüfen und zusammenfassen, auf bestimmte Warnzeichen für gefälschte Forschungsergebnisse achten können. Diese Anzeichen beweisen nicht kategorisch, dass eine Studie betrügerisch ist, aber sie zeigen, welche Studien sorgfältiger überprüft werden müssen. Wir haben auf Basis dieser Warnzeichen ein Screening-Tool in Form einer Checkliste von Fragen zur Durchführung und Berichterstattung einer Studie entwickelt, das Hinweise darauf gibt, ob die Ergebnisse einer Studie wahrscheinlich echt sind oder nicht.
Zu den Warnzeichen gehört das Fehlen wichtiger Informationen zu Deatails wie Angaben über die Genehmigung durch eine Ethikkommission oder zu dem Ort, an dem die Studie durchgeführt wurde. Eine klare Warnung sind auch Daten, die zu schön erscheinen, um wahr zu sein oder sich bei genauem Hinsehen als unplausibel erweisen. Ein Beispiel wäre, wenn die Zahl der Patienten in einer Studie die Zahl der Erkrankten im ganzen Land übersteigt.
Es ist uns allerdings wichtig zu betonen, dass unsere neue Arbeit und die Vorsicht vor solchen Warnzeichen nicht bedeuten, dass man jeder Forschungsarbeit misstrauen sollte.
Vertrauen ist gut, Kontrolle ist besser
Die COVID-19-Pandemie liefert Beispiele dafür, wie systematische Übersichtsarbeiten gefälschte Forschungsergebnisse herausfiltern können, welche in der medizinischen Fachliteratur veröffentlicht und in den Medien verbreitet worden waren. Zu Beginn der Pandemie, als sich das Tempo der medizinischen Forschung beschleunigte, halfen robuste und gut durchgeführte Patientenstudien und die darauf basierenden systematischen Reviews der Öffentlichkeit zu entscheiden, welche Maßnahmen gut funktionieren und welche wissenschaftlich nicht belegt sind.
Das Beispiel Ivermectin
So wurde beispielsweise Ivermectin, ein Antiparasitikum, das üblicherweise in der Tiermedizin eingesetzt wird und von einigen ohne Evidenz als Mittel zur Behandlung von COVID-19 angepriesen wurde, in einigen Teilen der Welt weithin akzeptiert. Nachdem in einem Cochrane Review mit hoher Wahrscheinlichkeit gefälschte oder fehlerhafte Studien ausgeschlossen wurden, ergab die systematische Überprüfung der vertrauenswürdigen Forschung zu Ivermectin jedoch, dass es „keine positiven Auswirkungen auf Menschen mit COVID-19“ hat.
Andererseits ergab ein Cochrane Review von Kortikosteroid-Medikamenten wie Dexamethason, dass diese Medikamente die Sterblichkeit bei schweren Fällen von COVID-19 reduzieren.
Das Problem gefälschter oder „geschönter“ Forschung ist nicht neu. Weltweit sind Anstrengungen im Gange, die die Einhaltung von Standards sicherstellen sollen. Forschungsförderer fordern Wissenschaftler auf, alle ihre Daten zu veröffentlichen, damit sie umfassend geprüft werden können. Medizinische Fachzeitschriften, die neue Studien veröffentlichen, beginnen damit, diese gezielt auf verdächtige Daten zu überprüfen. Aber jeder, der an der Finanzierung, Produktion und Veröffentlichung von Forschung beteiligt ist, muss sich bewusst sein, dass es gefälschte Daten und Studien gibt.
Wir haben unser neues Screening-Tool für die systematische Überprüfung wissenschaftlicher Studien entwickelt. Um es korrekt anzuwenden, ist ein gewisses Maß an Fachwissen erforderlich. Allerdings sind einige der Fragen aus dem Tool auch für die breite Öffentlichkeit durchaus geeignet, um die neuesten Forschungsergebnisse mit einem informierten und noch kritischeren Blick zu lesen.
Lisa Bero ist Professorin für Public Health und Medizin and der University of Colorado. Sie ist Senior Editor für Research Integrity für Cochrane und war von 2014 bis 2018 Ko-Vorsitzende des Cochrane Governing Board. Dieser Beitrag erschien ursprünglich auf Englisch im Online-Magazin „The Conversation “.
Diese Artikel könnten Sie auch interessieren:
