Mängel bei der Veröffentlichung von Studienergebnissen – auch in Pandemiezeiten

Vergleiche zwischen den in Studienregistern gespeicherten Protokollen und tatsächlich publizierten Studien zeigen problematische Unterschiede zwischen Sollen und Sein: Wichtige Details weichen von der im Register hinterlegten Planung ab, Ergebnisse werden spät oder gar nicht veröffentlicht. Analysen des Forschungsprojekts CEOsys zeigen, dass dies keine Einzelfälle sind.

Studienregister erfüllen eine wichtige Funktion: Durch die Anmeldung von klinischen Studien vor der praktischen Durchführung lassen sich unliebsame Ergebnisse nicht mehr einfach unter den Teppich kehren oder im Nachhinein verdrehen (siehe auch diesen Beitrag zum Thema). Im Register beschreiben die verantwortlichen Wissenschaftler*innen vorab die Methode und definieren, welche Messwerte sie überhaupt erheben wollen.

Besonders wichtig ist es, schon vor Studienbeginn den primären Endpunkt und damit das entscheidende Maß für die Bewertung der untersuchten Behandlung festzulegen. Denn es macht einen großen Unterschied, ob man am Ende beispielsweise die Sterblichkeit (Mortalität) oder nur ein Blutwert analysiert. Ist der primäre Endpunkt in der fertigen Studie ein anderer als der ursprünglich vorgesehene, kann das ein Hinweis auf ein von den Autor*innen unerwartetetes Ergebnis sein. Beispielsweise könnte bei einem Medikamententest die erhoffte Reduktion der Sterblichkeit nicht eingetreten sein. Dadurch steigt die Versuchung, als primären Endpunkt stattdessen einen Laborparameter zu berichten, bei dem günstige Veränderungen nachweisbar sind. Nur ist das allein noch kein Nachweis für eine klinische Wirksamkeit.

Preprints von COVID-Studien berichten besonders häufig abweichende Endpunkte

In einer laufenden Untersuchung haben Forscher*innen des COVID-19-Evidenzökosystems CEOsys, an dem auch Cochrane beteiligt ist, 87 Veröffentlichungen zu COVID-19 mit den entsprechenden Registereinträgen verglichen. Dabei betrachteten sie sowohl regulär in Fachzeitschriften veröffentlichte Artikel, als auch sogenannte Preprints. Dies sind Studien, die noch vor dem Druck online erscheinen und zumeist noch keinen Peer Review durchlaufen haben. Andere Forscher*innen konnten sie also noch nicht auf ihre Qualität hin prüfen.

Nur 43 Prozent (19 von 44) der untersuchten Preprints und 72 Prozent (38 von 53) der Artikel in Fachzeitschriften entsprachen hinsichtlich der primären Endpunkte exakt dem, was laut Studienregister geplant war. Bei Preprints kommt es also deutlich häufiger zu Änderungen gegenüber dem Protokoll. Die Abweichungen reichten von leichten Veränderungen der Beobachtungszeiträume bis zum Weglassen einer Definition eines primären Endpunkts in der fertigen Studie.

Vergleichszahlen liefert eine systematische Übersichtsarbeit von 2015, also aus vor-pandemischen Zeiten (Jones et al., 2015). Diese Analyse von Abweichungen in den Endpunkten klinischer Studien ergab, dass im Mittel 69 Prozent der Studien in Fachzeitschriften exakt die Endpunkte berichten, die im Register geplant waren. Das spricht dafür, dass vor allem bei Preprints ein erhöhtes Risiko für nachträgliche Veränderungen besteht, welche letztlich die Gefahr von Fehlinterpretationen erhöhen.

Im nächsten Schritt wollen die CEOsys-Fachleute untersuchen, ob die Abweichungen möglicherweise mit Interessenkonflikten, dem Zeitpunkt der Registrierung oder der Signifikanz berichteter Endpunkte zusammenhängen. Eine wissenschaftliche Publikation dieser Daten ist geplant.

Fehlende oder späte Veröffentlichungen trotz Pandemie

Ein weiterer Vorteil von Studienregistern ist, dass man mit ihrer Hilfe prüfen kann, ob und wie schnell Ergebnisse einer Studie nach deren Abschluss erscheinen. Im Zuge der Pandemie ist die Zahl von Studien stark gestiegen. CEOsys hat sich für die ersten sechs Monate der Pandemie auch angesehen, wie viele der registrierten Studien innerhalb einer gewissen Zeit auch tatsächlich veröffentlicht wurden.

Trotz der Dringlichkeit wurden innerhalb von sechs Wochen nach Fertigstellung nur 14 Prozent der untersuchten Studien publiziert. Selbst nach drei Monaten lag diese Zahl erst bei 19 Prozent. Die Autor*innen haben zwei mögliche Erklärungen für dieses geringe Publikationstempo. Entweder lassen sich Forscher*innen viel Zeit mit der Publikation ihrer Studienergebnisse zu COVID-19. Oder die Studienregister enthalten fehlerhafte Informationen über die Durchführung und Veröffentlichung der registrierten Studien. Beides wäre wenig hilfreich für das große Ziel, mit schneller, aber eben auch zuverlässiger Evidenz einen Weg aus der Pandemie zu finden.

Anmerkung: Ein Preprint, die zugrunde liegenden Daten und die Registrierung dieser Untersuchung sind frei zugänglich.

Text: Jörg Wipplinger

Jörg Wipplinger gehörte 2015 zu den Gründern von Wissen Was Wirkt. Im Moment kümmert er sich für CEOsys um den Wissenstransfer in die breite Öffentlichkeit.