„Die Wahrheit, und nichts als die Wahrheit…“

Wenn unwahre Studien zu systematischen Reviews beitragen, kann das dazu führen, dass Wissen verunreinigt wird. Das zeigen zwei aktualisierte Cochrane Reviews zur Wirksamkeit von verbreitet eingesetzten Mitteln – Statine nach Herzoperation und Vitamin D in der Schwangerschaft. Diese kommen zu anderen Schlussfolgerungen als die vorherigen Versionen. Das liegt daran, dass in den aktuellen Versionen konsequent solche Studien keine Berücksichtigung fanden, deren Glaubwürdigkeit Fragen aufwirft. Die Wissenschaft scheint ein Problem mit intransparenten und potenziell betrügerischen Studien zu haben. Doch Cochrane wird nun handeln.

„Wenn wir nicht wissen, was wahr ist und was unwahr, dann treffen wir falsche Entscheidungen“, sagt Prof. Bernhard Sabel im Beitrag des Hessischen Rundfunks „Fake-Studien mit KI“. Bernhard Sabel ist emeritierter Professor für Medizinische Psychologie an der Universität Marburg und beschäftigt sich seit 2021 intensiv mit dem Phänomen des Wissenschaftsbetrugs durch Fake-Publikationen. Mittlerweile haben sich profitorientierte Dienstleister, sogenannte „Paper Mills“, auf die Erstellung von gefälschten Forschungsergebnissen spezialisiert. Mithilfe von künstlicher Intelligenz (KI) arbeiten sie effizient und können dank eines korrupten Netzwerks sogar die Veröffentlichung in Fachjournalen ermöglichen.

Integritäts-Detektor dringend benötigt

Im Jahr 2023 hat die Anzahl der wissenschaftlichen Publikationen, die zurückgezogen werden mussten, enorm zugenommen. Integritätsexpert*innen vermuten, dass dies nur die Spitze des Eisbergs ist [1]. Denn Artikel werden erst dann zurückgenommen, wenn die „Auffälligkeiten“ eindeutig nachgewiesen wurden [2].

Ein ganz entscheidender Schritt bei der Erstellung eines Cochrane Reviews ist die Bewertung der methodischen Qualität der gefundenen Studien. Hierfür nutzt Cochrane das aufwändige Risk of Bias 2-Tool (Rob2) und stellt die Ergebnisse dieser Qualitätsbewertung ausführlich dar. Doch wenn Studien manipuliert oder komplett erfunden sind, aber eine hochwertige Methodik vorgeben, kann das Rob2 nicht aufdecken.

Wenn solche Studien in systematische Reviews und diese dann in Leitlinien einfließen, kann dies zu einer verzerrten Datenbasis und in der Folge zu fehlerhaften medizinischen Empfehlungen und Entscheidungen führen. Studien mit Unregelmäßigkeiten müssen daher früh im Erstellungsprozess erkannt werden. Umso besser, wenn dabei auch unbeabsichtigte Fehler wie Flüchtigkeitsfehler und Versäumnisse im Datenmanagement bei an sich „ehrlichen“ Studien aufgedeckt werden.

Weniger ist manchmal mehr – auch in der Wissenschaft

Wie groß das Problem bei klinischen Studien tatsächlich ist, ist unklar. „Für uns ist es besorgniserregend, diese Entwicklung der gefälschten Studien zu beobachten“, stellt Jörg Meerpohl, Direktor von Cochrane Deutschland, im hr-Beitrag fest. Wie relevant das Problem auch für die klinische Forschung sein könnte, lässt sich bei einigen aktualisierten Cochrane Reviews bereits vermuten.

Konkret kamen zwei Cochrane Reviews zu häufig eingesetzten Mitteln in ihren vorherigen Versionen zu dem Schluss: Ja, die untersuchten Mittel wirken! In den aktualisierten Versionen dann die Kehrtwende: Nein, wir wissen es doch nicht! Was ist geschehen?

In beiden Fällen führten die Cochrane-Autor*innen in der aktuellen Version ein Vorab-Screening der zu ihrer Forschungsfrage gefundenen Studien auf wissenschaftliche Integrität der Studien durch und schlossen Studien aus, die sie in der vorherigen Version berücksichtigt hatten.

Fall Nr. 1: Vitamin D in der Schwangerschaft

Einer der Reviews drehte sich um die Frage, ob eine Nahrungsergänzung mit Vitamin D während der Schwangerschaft zur Vorbeugung von Komplikationen sinnvoll und verträglich ist [3].

Die vorherige Version war auf Basis von 30 Studien zu dem Schluss gekommen, dass die Nahrungsergänzung von Schwangeren mit Vitamin D wahrscheinlich das Risiko für Präeklampsie, Schwangerschaftsdiabetes und geringes Geburtsgewicht reduziert und möglicherweise auch das Risiko für schwere Blutungen nach der Geburt verringert.

Die Verwendung eines neu entwickelten Integritäts-Instruments, des sogenannten Cochrane Pregnancy and Childbirth Trustworthiness Screening Tool, führte dazu, dass 21 Studien aus dem vorherigen Update nun nicht mehr in die Analyse einflossen. Und dies hatte erhebliche Auswirkungen auf die Schlussfolgerungen: Nun wird die Evidenz für die Wirksamkeit der Vitamin-D-Supplementation in diesem Kontext als unsicher oder sehr unsicher eingestuft, und die meisten berichteten Ergebnisse stützen sich nur auf Daten aus einer, zwei oder drei Studien.

Im Bereich „Nahrungsergänzung in Schwangerschaft und Stillzeit“ scheint es generell ein Problem mit der Integrität von Studien zu geben. In 14 von 18 speziell mit diesem Tool untersuchten Cochrane Reviews aus diesem Bereich führte eine formale Bewertung der Integrität zum Ausschluss von Studien und bei sechs veränderten sich durch die vordefinierten Kriterien für Integrität die Schlussfolgerungen für die Praxis [4]. Genaueres dazu erfahren Sie in einem unserer nächsten Blogbeiträge.

Fall Nr. 2: Sind Statine zur Vorbeugung von Komplikationen nach einer Herzoperation sinnvoll?

Der zweite Review ging der Frage nach, ob es sinnvoll ist, vor einer Herzoperation Statine einzunehmen, um beispielsweise Vorhofflimmern in den ersten Wochen nach der Operation zu vermeiden [5].

Ältere und neuere Studien kamen zu unterschiedlichen Ergebnissen. Ältere Studien, die weder eine Registrierung vor Studienbeginn, noch die Genehmigung einer Ethikkommission aufwiesen und vergleichsweise wenig Teilnehmende einschlossen, wurden in der aktuellen Version des Reviews nicht mehr berücksichtigt. Ausgewertet wurden jetzt nur noch 8 Studien (zuvor: 23 Studien) mit insgesamt 5592 Teilnehmenden, fünf davon neuere RCTs, die in der vorherigen Version gar nicht enthalten waren.

Der aktuelle Review findet im Unterschied zur vorherigen Version nun keine Hinweise für einen kurzfristigen klinischen Nutzen. Statine beeinflussten weder die Sterblichkeit innerhalb der ersten 30 Tage nach der Herz-OP, noch schwerwiegende Ereignisse wie Herzinfarkt, Schlaganfall, Nierenversagen, Vorhofflimmern oder die Dauer des Aufenthalts auf der Intensivstation. Gut zu wissen für all jene, die Statine sowieso regelmäßig einnehmen: Schädliche Auswirkungen von Statinen traten in der Phase rund um eine Herzoperation aber auch nicht auf.

Cochrane übernimmt den Fall und entwickelt ein neues Tool

Was die „Verunreinigung der Evidenz durch nicht-authentische“ Studien anbelangt, so hat Cochrane das Problem erkannt [6]. Derzeit ist allerdings noch keine zuverlässige Kontrollmethode etabliert, um Studienberichte mit gefälschten oder erfundenen Daten zu erkennen. Nachträgliche Korrekturmeldungen (sog. „Errata“) oder der komplette Rückzug einer Veröffentlichung durch die Herausgeber schaffen zwar manchmal Klarheit, passieren aber viel zu selten und oft nur nach langwierigen Abklärungen. Cochrane erarbeitet deshalb ein Instrument zur transparenten Beurteilung der Integrität von RCTs in systematischen Übersichtsarbeiten (INSPECT-SR Tool: INveStigating ProblEmatic Clinical Trials in Systematic Reviews [7]). Das neue Integritäts-Tool von Cochrane sieht verschiedene Informations-Checks vor, um so Indizien für mögliche Integritätsproblem zu sammeln (s. Kasten).

Es ist aber jetzt schon klar: Es wird keinen Goldstandard-Test für verdächtige oder gefälschte Studien geben können und das Tool wird kein diagnostischer Test für Betrug sein. Es kann den Review-Autor*innen aber helfen, die Integrität der eingeschlossenen Studien einzuschätzen, indem Indizien für Fehler oder Hinweise für mangelnde Echtheit gesammelt werden und so eine Gesamteinschätzung erfolgt.

Was die „Evidenzpolizei“ fragen könnte. Einige Beispiele aus dem Entwurf des INSPECT-SR Tool

Regulierung der Forschung

Machbarkeit (Plausibilität)

Wurde die Studie zurückgezogen? Wurde die Studie im Voraus registriert? Lag die Genehmigung durch eine Ethikkommission vor? Gab es bei anderen Publikationen des Forschungsteams Unregelmäßigkeiten? Haben die Studienautor*innen auf Anfrage die individuellen Daten der Teilnehmenden bereitgestellt?

Passt die Zahl der randomisierten Personen zum Randomisierungsverfahren? Sind die Baseline-Charakteristika zu ähnlich? Ist die Rekrutierung plausibel? (beispielsweise zu viele Betroffene einer seltenen Erkrankung innerhalb von kurzer Zeit in einem Studienzentrum) Keine oder kaum Studienabbrüche trotz längerer Laufzeit? Gibt es zweifelhafte Ergebnisse bzw. statistische Auffälligkeiten? Sind die zitierten Referenzen relevant?

Gemeinsam gegen Betrug – Einladung zum 4. Symposium von Cochrane Deutschland

Dass gefälschte Publikationen dank Text- und Bild-generierender Künstlichen Intelligenz (KI) inzwischen noch leichter und schneller möglich sind, zeigt ein Experiment, das der KI-Experte des hessischen Rundfunks durchgeführt hat. Zudem kann KI auch immer plausiblere „Rohdaten“ generieren.

Im Rahmen des 4. Symposiums der Cochrane Deutschland Stiftung werden am 25. und 26. März 2025 in Freiburg Expert*innen über verschiedene Formen von Betrug in der Wissenschaft, deren Ausmaß und Ursachen diskutieren und konkrete Beispiele vorstellen, wie Fälschungen erkannt und verhindert werden können. Die Teilnahme am CDS-Symposium ist kostenlos (zum Programm).

Auf Wissen Was Wirkt werden wir für Sie in den kommenden Monaten weitere Beiträge zum Thema „Integrität in der Wissenschaft“ veröffentlichen.

---