Bei Fragen zu Medikamenten, Therapien und Interventionen im Bereich Gesundheit interessiert uns häufig nur, welche davon wirklich wirksam sind. Schließlich wollen wir wissen, was wir tun sollten, um unseren Blutdruck zu senken oder wie wir den ersten Sonnenbrand des Jahres lindern können. Jedoch entgehen dem Leser dabei (un-)freiwillig wichtige Informationen, nämlich die über Wirkungslosigkeit oder Gleichwertigkeit.
Was ist Disseminationsbias?
In den Medien wird bevorzugt von Studienergebnissen berichtet, die eine Wirksamkeit belegen – Studienergebnisse, die keinen deutlichen Effekt zeigen machen seltener Schlagzeilen. Auch in der Wissenschaft werden eher „positive“ Studienergebnisse veröffentlicht als „negative“. „Positiv“ heißt hier, dass die Ergebnisse eine Wirkung belegen oder die Hypothesen der Wissenschaftler bestätigen. „Negative“ Ergebnisse hingegen, welche keine Wirksamkeit zeigen oder die Hypothesen der Wissenschaftler nicht belegen, werden häufig – teils bewusst – nicht veröffentlicht.
In der klinischen Forschung werden sehr häufig mehrere Studien zu einer bestimmten Fragestellung durchgeführt. Zufällige Fehler, die in der Durchführung nie vollständig kontrolliert werden können, und Ungenauigkeit führen dazu, dass manche Studien einen stärkeren bzw. einen schwächeren oder keinen Effekt zeigen. Wenn man sich mit diesem Wissen um die Ungenauigkeit und den zufälligen Fehler bevorzugt auf positive Ergebnisse konzentriert, stehen uns Studienergebnisse, die darauf hinweisen, dass eine Intervention nicht wirksam ist oder „nur“ genauso gut wirkt wie eine andere Intervention nicht gleichermaßen zur Verfügung wie Ergebnisse, die eine Wirksamkeit belegen. Wenn man nun für ein systematisches Review überwiegend Studien mit „positiven“ Ergebnissen identifiziert hat, und einige der Studien, die keine Effekte gefunden haben, nicht gefunden und somit nicht eingeschlossen hat, führt das zu einer Überschätzung der Wirksamkeit. Dieses Problem nennt man Disseminationsbias (auch bekannt als Publikationsbias).
Seit den 1950er Jahren ist dieses Problem bekannt und mittlerweile durch viele Studien und systematische Reviews belegt. Damals untersuchte man 294 Studien, die in psychologischen Fachzeitschriften veröffentlicht worden waren. 97 % dieser Studien enthielten statistisch signifikante Ergebnisse. Im Jahr 2013 zeigte ein systematisches Review, dass die Chance für eine Veröffentlichung von Studien mit statistisch signifikanten Ergebnissen mindestens doppelt so hoch war im Vergleich zu Studien mit statistisch nicht-signifikanten Ergebnissen.
Was sind die Auswirkungen?
Um systematische Fehler zu vermeiden, ist die Grundidee von Cochrane Reviews alle Studien, die zu einer Fragestellung durchgeführt wurden, zu berücksichtigen. Also alle Studien ungeachtet der Richtung (Wirksamkeit oder Wirkungslosigkeit) und Stärke (Effektgröße) der Studienergebnisse. Wenn nun Studien, die eine Wirkung belegen, wahrscheinlicher verfügbar sind, verzerrt sich das Gesamtbild der Evidenz. Es kann passieren, dass sich eine Therapie wirksamer darstellt, als sie in Wirklichkeit ist. Wenn Disseminationsbias vorliegt, kommt diese vermeintliche Wirksamkeit jedoch nur zustande, weil die Studien mit „negativen“ Ergebnissen nicht auf der Bildfläche erscheinen und nicht miteinbezogen wurden. Kritisch wird das Ganze dann, wenn Entscheidungen auf Basis dieser verfälschten Ergebnisse gefällt werden.
Leider gibt es dafür einige reale Beispiele. Eines davon handelt vom Medikament Tamiflu, das basierend auf ausgewählten Studiendaten gegen die sog. Vogelgrippe als wirksam bewertet wurde. Große internationale Organisationen empfahlen die Einnahme, politische Entscheidungsträger unterstützten die Beschaffung großer Mengen des Medikaments. Später wurde bekannt, dass 8 von 10 Studien, die zu Tamiflu durchgeführt wurden, nicht veröffentlicht waren. Gerade diese Studien zeigten keinen relevanten Nutzen von Tamiflu gegenüber Placebo. Ausführliche Informationen zu den Ereignissen rund um Tamiflu gibt es hier.
Um das Vorhandensein von Disseminationsbias zu prüfen, können statistische Tests durchgeführt werden (z. B. Eggers sog. Liner Regression Method). Solche Tests sind anwendbar, wenn es um Studien mit numerischen, quantitativen Ergebnissen handelt. Hierfür müssen jedoch gewisse Voraussetzungen gegeben sein, die nicht immer erfüllt werden, wie beispielsweise eine ausreichende Anzahl an Studien (in der Regel mindestens 10).
Auch in der qualitativen Forschung, deren Daten und Ergebnisse aus Worten und Texten bestehen, vermuten wir, dass Disseminationsbias existiert. Wenn dies der Fall wäre, müssten wir Disseminationsbias als Komponente berücksichtigen, die die Verlässlichkeit der Ergebnisse in Reviews qualitativer Studien (qualitative Evidenzsynthesen) beeinflussen könnte.
Qualitative und quantitative Forschung und ihre Ergebnisse sind in einigen Aspekten sehr unterschiedlich. Bis jetzt gehen wir aber davon aus, dass es in den Mechanismen, die zu Disseminationsbias führen, Ähnlichkeiten zwischen der quantitativen und qualitativen Forschung gibt. Allerdings sind wir noch ganz am Anfang, Disseminationsbias in der qualitativen Forschung zu verstehen.
Was wir dagegen tun?
Aus der quantitativen Forschung wissen wir, dass unterschiedliche Faktoren und Akteure eine Rolle in Bezug auf Disseminationsbias spielen. Wir Wissenschaftler, die auch als externe Gutachter für Fachartikel (Peer-Reviewer) oder als Editorinnen von Fachzeitschriften fungieren, spielen sicher eine der Hauptrollen. Wir sollten uns bemühen auch Studien zu veröffentlichen, die nicht das zeigen, was wir uns erhofft hatten, bzw. die Wirksamkeit nicht belegen. Kurzum, wir sollten uns trauen, in unserer Arbeit Integrität zu leben, auch wenn leistungsorientierte Systeme uns nur bedingt darin unterstützen.
Um Studiendaten für Reviews verfügbar zu machen, stellen beispielsweise Studienregister, in denen Informationen zu geplanten und begonnen Studien hinterlegt sind, einen vielversprechenden Lösungsansatz dar. In Registern wie dem Deutschen Register Klinischer Studien oder ClinicalTrials.gov können Angaben zum Studiendesign gemacht werden, aber auch numerische Ergebnisse von Studien lassen sich dort speichern. Somit sind die Ergebnisse für andere Wissenschaftler und die Allgemeinheit leichter auffindbar und verwendbar.
Im Bereich der qualitativen Forschung führen wir bei Cochrane Deutschland derzeit Forschungsarbeiten durch, um mehr über die Auswirkung von Disseminationsbias in der qualitativen Forschung zu erfahren und halten euch gern dazu auf dem Laufenden.
Letztlich sollten wir Wissenschaftler uns als Konsumenten von wissenschaftlichen Publikationen bewusst sein, dass auch nicht-Wirksamkeit relevant für uns und die medizinische Versorgung ist und beispielsweise hin und wieder einen Blick in Journal werfen, die Studien auch veröffentlichen, wenn der Effekt nicht signifikant ist und das Ergebnis den Erwartungen der Wissenschaftler widerspricht (z. B. PloS One oder BMJ Open).
Und wer den Beitrag nur gelesen hat, weil er wissen will, was gegen Sonnenbrand hilft, schaut hier: https://wissenwaswirkt.org/mit-honig-im-gepaeck-zum-strand.
Text: Ingrid Toews
Für die, die mehr über Disseminationsbias in wissenschaftlichen Publikationen lesen möchten:
-Dwan K, Gamble C, Williamson PR, Kirkham JJ, the Reporting Bias G. Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias — An Updated Review. PLoS ONE. 2013;8:e66844.
-Schmucker, C., et al., Extent of non-publication in cohorts of studies approved by research ethics committees or included in trial registries. PLoS One, 2014. 9(12): p. e114023.
-Toews, I., et al., Extent, Awareness and Perception of Dissemination Bias in Qualitative Research: An Explorative Survey. PLoS ONE, 2016. 11(8): p. e0159290.
-Toews, I., et al., Dissemination Bias in Qualitative Research: conceptual considerations. Journal of Clinical Epidemiology, 2017 [in press].
Diese Artikel könnten Sie auch interessieren:
