Auch in der qualitativen Forschung spielt der Dissemination Bias eine Rolle, also die Tatsache, dass nicht alle Daten veröffentlicht werden. Wir erklären, wieso das ein Problem ist, welche Daten wir dazu erhoben haben und wir wollen von euch wissen, wie eure Erfahrungen mit Nicht-Veröffentlichung sind.
Viele qualitative Studien werden nie vollständig veröffentlicht. Dadurch gehen nachweislich wesentliche Erkenntnisse verloren. Auf wissenschaftlich nennen wir das Dissemination Bias, den wir so definieren: Er beschreibt einen systematischen Fehler, der durch die systematische Nicht-Publikation von Studien und einzelnen Ergebnissen entsteht. Es ist nicht zufällig, welche Studien nicht veröffentlicht werden, sondern das ist abhängig von ihrem Inhalt und ihren Ergebnissen.
Systematische Evidenzsynthesen fassen die verfügbaren wissenschaftlichen Erkenntnisse zu einer bestimmten Fragestellung unter Anwendung einer strengen Methodik zusammen. Die zusammengefassten Erkenntnisse sind ein wesentlicher Bestandteil von Gesundheitsleitlinien, Gesundheitstechnologiebewertungen und Patienteninformationen. Doch Studien, die nie veröffentlicht wurden, können auch nicht Teil von Übersichtsarbeiten werden, wodurch fehlende oder selektiv berichtete Studien das Vertrauen in die Ergebnisse von Synthesen untergraben können. Wiederum im Fachjargon: Der Dissemination Bias schwächt potenziell die Annahme „hoher Vertrauenswürdigkeit“ in Evidenz.
Ein Beispiel aus der Praxis
Manche Forschungsergebnisse werden nicht veröffentlicht, unter anderem weil die Forscher negative Folgen für die Befragten befürchten.
In der Praxis haben Wissenschaftler*innen aus unserer Arbeitsgruppe Dissemination Bias wie folgt erlebt:
In einer Studie führten Forscher Fokusgruppendiskussionen mit Müttern durch, die an einer Forschungsstudie zu schwangerschaftsassoziierter Tuberkulose teilgenommen hatten. Ziel war es, zu verstehen, warum viele Frauen die Studie abbrachen. Einige der Ergebnisse waren recht heikel: Die Mütter sprachen von Misstrauen gegenüber dem Gesundheitssystem, von Mythen darüber, wofür die Blutproben verwendet würden, von Bedenken, dass der Einwilligungsprozess nicht ordnungsgemäß durchgeführt oder von den Krankenschwestern nicht gut erklärt worden sei, sowie von Erfahrungen, bei denen Krankenschwestern Babys wiederholt stachen und als unhöflich oder einfühlungslos empfunden wurden.
Das Forschungsteam hielt diese Ergebnisse für wichtig, da sie dazu beitragen könnten, die Teilnehmerbindung in ähnlichen Studien zu verbessern und ethische Forschungspraktiken zu stärken. Die Forscher verbrachten daher viel Zeit damit, einen Manuskriptentwurf aus dieser Arbeit zu erstellen. Sie befürchteten jedoch, dass die Ergebnisse die Gesundheitseinrichtungen und die Pflegekräfte, die gegen ethische Richtlinien verstoßen hatten, in ein schlechtes Licht rücken und generell ein negatives Bild des Gesundheitssystems des Landes vermitteln könnten. Sie versuchten daher, den Entwurf umzuschreiben und einige der Zitate zu redigieren. Letztendlich beschlossen sie jedoch, die Arbeit gar nicht einzureichen.
Der Dissemination Bias in der qualitativen Forschung
Da statistisch signifikante und positive Ergebnisse mit höherer Wahrscheinlichkeit veröffentlicht werden, hat der Dissemination Bias eine klare Richtung: Er führt zur Umsetzung unwirksamer und schädlicher Gesundheitsmaßnahmen. Während die Auswirkungen des Dissemination Bias in der quantitativen Forschung gut untersucht sind, ist darüber in der qualitativen Forschung nur wenig bekannt. Trotzdem, oder gerade deshalb, kann Dissemination Bias in der qualitativen Forschung zu falschen Entscheidungen führen, denn auch die Ergebnisse aus qualitativer Forschung gehen in die evidenzbasierte Gesundheitsversorgung ein und tragen zur Politikgestaltung bei.
Die Lücken beim Erkennen der Lücken schließen
Bis 2016 hatte sich nur eine einzige Studie mit der Nichtveröffentlichung in der qualitativen Forschung befasst (1). Im Jahr 2016 führten Wissenschaftlerinnen des Cochrane-Netzwerks aus Deutschland, UK und Norwegen eine groß angelegte, internationale Querschnittsumfrage durch. Dabei wurden Daten zu Nichtveröffentlichung und Dissemination Bias in der qualitativen Forschung von qualitativen Forscherinnen und Forschern, Autorinnen qualitativer Evidenzsynthesen, Peer-Reviewern und Herausgeber*innen wissenschaftlicher Zeitschriften erhoben (2). Fast 70 Prozent der Befragten gaben an, dass eine oder mehrere ihrer qualitativen Studien unveröffentlicht geblieben waren. Ein Drittel gab an, dass wichtige einzelne Ergebnisse in einem oder mehreren ihrer veröffentlichten Berichte fehlten.
Nach der Umfrage wurden empirische Belege zusammengetragen: Unsere Arbeitsgruppe konnten zeigen, dass ein Drittel (33,70 %) der qualitativen Studien, die 2015 und 2016 auf den Forschungskonferenzen des Royal College of Nursing im Vereinigten Königreich vorgestellt wurden, nicht zu einer vollen Publikation innerhalb der fünf Jahre nach der Vorstellung geführt hatte. (3)
Gründe für Nicht-Veröffentlichung
In einer weiteren Studie wurden die Gründe für die mangelnde Verbreitung qualitativer Studien untersucht, die mit dem Inhalt und den Ergebnissen in Zusammenhang stehen. Wir identifizierten Konferenz-Abstracts, die qualitative, gesundheitsbezogene Studien beschrieben. Wir luden die Autorinnen ein, an einer Umfrage teilzunehmen, die quantitative und qualitative Fragen enthielt. Etwa ein Drittel gab an, dass ihre Studie nach der Konferenzpräsentation nicht vollständig veröffentlicht worden war. Die Hauptgründe waren Zeitmangel, berufliche Veränderungen und mangelndes Interesse. Nur wenige gaben an, dass die Nichtveröffentlichung auf die Studienergebnisse selbst zurückzuführen sei. Die Entscheidung, nicht zu veröffentlichen, wurde größtenteils von den Autorenteams getroffen. Die Hälfte der 72 %, die ihre Studie veröffentlichten, gab an, dass alle Ergebnisse in der Veröffentlichung enthalten waren.
In unserer aktuellen Studie untersuchten wir 1.123 Konferenz-Abstracts, die qualitative Gesundheitsforschung berichteten. Wir untersuchten den Anteil der Nichtveröffentlichung, die Zeit bis zur Veröffentlichung sowie Zusammenhänge zwischen Autoren- oder Studienmerkmalen und der vollständigen Veröffentlichung. Bei rund einem Viertel dieser Studien wurde innerhalb von 6 bis 8 Jahren nach ihrer Präsentation keine vollständige Veröffentlichung festgestellt. Unter den veröffentlichten Studien betrug die mediane Zeit bis zur Veröffentlichung 11 Monate.
Der beträchtliche Anteil unveröffentlichter qualitativer Studien im Gesundheitsbereich kann sich auf die Synthese qualitativer Evidenz auswirken und die Entscheidungsfindung beeinträchtigen. Es bedarf eines weiteren Austauschs mit Expertinnen, um die Mechanismen und Kontexte zu verstehen, in denen eine solche Verzerrung durch die Verbreitung entstehen kann. Ein solcher Dialog könnte dazu beitragen, Hypothesen darüber aufzustellen, wann und wo eine solche Verzerrung auftritt, und die Identifizierung entsprechender Beispiele unterstützen.
Eure Erfahrungen sind gefragt!
Seid ihr oder jemand aus eurem Umfeld auf Hindernisse bei der Veröffentlichung gestoßen eurer qualitativen Studie gestoßen? War es aufgrund des Inhalts oder Ergebnisse? Wir laden euch ein, eure Erfahrungen in einer anonymen Umfrage (Link unten) mitzuteilen, der Zeitaufwand beträgt maximal 10 min.
Eure Beiträge helfen uns, besser zu verstehen und anzugehen, wie sich die Nichtveröffentlichung qualitativer Evidenz auf die Synthese qualitativer Evidenz, die Entwicklung von Leitlinien und die Entscheidungsfindung sowie das Vertrauen in diese auswirkt.
Hier geht es zur Umfrage!
Quellen
Quellen:
- Petticrew, M., M. Egan, H. Thomson, V. Hamilton, R. Kunkler and H. Roberts (2008). „Publication bias in qualitative research: what becomes of qualitative research presented at conferences?“ Journal of Epidemiology and Community Health 62(6): 552-554.
- Toews, I., C. Glenton, S. Lewin, R. C. Berg, J. Noyes, A. Booth, A. Marusic, M. Malicki, H. M. Munthe-Kaas and J. J. Meerpohl (2016). „Extent, Awareness and Perception of Dissemination Bias in Qualitative Research: An Explorative Survey.“ PLoS ONE 11(8): e0159290.
- Toews, I., J. L. Z. Nyirenda, J. Stadelmaier, G. Schwarzer, J. Noyes, A. Booth, S. Lewin and J. J. Meerpohl (2021). „Subsequent full publication of qualitative studies presented at United Kingdom Royal College of Nursing Research Conference 2015 and 2016: A follow‐up study.“ Research Synthesis Methods 13(4): 434-446.
Autor*innen: Ingrid Töws, Jörg Wipplinger
Diese Artikel könnten Sie auch interessieren:
