Loading...

ZFA-Logo

Wie gut ist eine qualitative Studie? 10 hilfreiche Fragen für den Leser von Aufsätzen

DOI: 10.1055/s-2005-836620

Wie gut ist eine qualitative Studie? 10 hilfreiche Fragen für den Leser von Aufsätzen

PDF

Wie gut ist eine qualitative Studie? 10 hilfreiche Fragen für den Leser von Aufsätzen Critical Appraisal of Qualitative Studies. 10 Questions to Help the Reader of Articles Fortbildung 248 S. Dunkelberg Zusammenfassung Hintergrund und Ziele: Für die Beurteilung der Qualität einer qualitativen Studie sind vergleichbare Fragen relevant, wie bei anderen wissenschaftlichen Methoden, beispielsweise die nach der Güte der Fragestellung. Doch die Antworten und Maßstäbe unterscheiden sich. Ziel dieser Anleitung zum kritischen Lesen qualitativer Studien ist es, auch dem diesbezüglich methodisch nicht vorgebildeten Leser Anhaltspunkte an die Hand zu geben. Methoden: Es wurden bestehende Checklisten identifiziert und die einzelnen Fragen gesammelt. Daraus wurden die zentralen Punkte extrahiert und in zehn Fragen zusammengefasst. Zur besseren Eingängigkeit werden die einzelnen Fragen mit – teils ironischen – „Untertiteln“ versehen. Ergebnisse: Ob die Fragestellung interessant und die Ergebnisse für den Leser relevant sind, wird immer einer subjektiven Bewertung unterliegen. Ein der Fragestellung angemessenes, ausführlich beschriebenes und kritisch reflektiertes methodisches Vorgehen hingegen spricht für eine hohe Qualität. Werte quantitativer Studien wie eine große repräsentative Stichprobe und ein Bemühen um die bestmögliche Ausschaltung subjektiver Einflüsse gelten hier nicht. Stattdessen sind Offenheit, Reflexivität und das Nutzen möglichst verschiedener Perspektiven Qualitätsmerkmale. Schlussfolgerungen: Der Leser sollte nach dem kritischen Studium einer qualitativen Studie abschätzen können, in wie weit die Ergebnisse brauchbar und auf seine Arbeitszusammenhänge bzw. Patienten übertragbar sind. Schlüsselwörter Qualitative Studien · Checkliste · Forschungsmethodik · kritisches Lesen · Allgemeinmedizin Abstract Background and aims: Questions to assess the quality of a qualitative study are similar to those in other fields of science. e. g. “deals the research question with a relevant issue?” But answers and standards vary to a good deal. Aim of these instructions for critical appraisal is to make clues available to the reader who is not trained in qualitative methods. Methods: Existing checklists were identified and the single items and questions were pooled. The author extracted the main points and merged them into 10 questions. To aid recall – partly ironical – subtitles were added. Results: Whether the aims of research are interesting and relevant, will always be subject to individual judgement. The following criteria indicate a high quality: (1) methodological approach adequate to address the aims of research (2) described in detail and (3) critically reflected. Standards of quantitative studies as a huge and representative sample and an avoidance of subjective influences are not valid here. Instead of that openness, reflexivity and the use of different perspectives are criteria for quality. Conclusions: After critical appraisal of a qualitative research article, the reader should be able to decide if the results are credible and if they can be transferred to his field of work and to his patients. Key words Qualitative research · checklist · methodology · critical appraisal · general practice Institutsangaben Institut für Allgemeinmedizin, Universitätsklinikum Hamburg-Eppendorf Korrespondenzadresse Dr. med. Sandra Dunkelberg · Institut für Allgemeinmedizin · Universitätsklinikum Hamburg-Eppendorf · Martinistr. 40 · 20246 Hamburg · E-mail: dunkelbe@uke.uni-hamburg.de Bibliografie Z Allg Med 2005; 81: 248–252 · © Georg Thieme Verlag KG Stuttgart · New York DOI 10.1055/s-2005-836620 ISSN 0014-336251 Einleitung Kritisches Lesen von wissenschaftlichen Studien ist eine Fähigkeit, die sich – im Zuge der Verbreitung der evidenzbasierten Medizin – immer mehr Hausärzte angeeignet haben. Die klassische Studie in der Medizin bedient sich quantitativer Verfahren. Auf qualitative Studien, die auch, aber nicht nur in der Allgemeinmedizin eine zunehmende Verbreitung erfahren, sind „Numbers Needed to Treat“, Bewertung der Verblindung, Fragen nach der richtigen statistischen Methode etc. gar nicht anwendbar. Hier müssen andere Fragen gestellt werden, will man nicht einfach darauf vertrauen, dass die Autoren gute Arbeit geleistet haben. Dieser Beitrag kann nicht den Erwerb von Methodenkompetenz ersetzen, ähnlich wie ein EbM-Kurs sich nicht durch eine kleine schriftliche Anleitung ersetzten lässt. Aber er soll dem Leser Anhaltspunkte bieten, auch qualitative Studien kritisch zu lesen. Und wer sich mit EbM bereits befasst hat, wird schnell merken, dass sich an vielen Stellen auch Gemeinsamkeiten finden. In der internationalen Literatur und im Internet lassen sich eine Reihe von Checklisten bzw. Kriterien für das Bewerten qualitativer Studien finden [1 – 11]. Manche sind primär für Gutachter von Arbeiten, beispielsweise die des BMJ [12], andere in erster Linie für den Konsumenten [13]. Die meisten sind allgemein gefasst, es gibt aber auch Checklisten für spezifische Verfahren, z. B. für Fokusgruppendiskussionen [14]. Und natürlich gibt es bereits Kritik an diesen Checklisten: Barbour weist darauf hin, dass der übereifrige und unkritische Gebrauch von Checklisten kontraproduktiv sein könne und es nicht angemessen sei, qualitative Forschung auf eine Liste technischer Prozeduren zu reduzieren [15]. Chapple sieht in ihnen eine mögliche Hürde für die Publikationen qualitativer Arbeiten [16]. Dieser Aufsatz geht qualitativ und subjektiv mit den vorhandenen Checklisten um: aus der Vielzahl der dort zu findenden Fragen und Unterfragen wurden nicht die gewählt, die am häufigsten vorkommen, sondern die, die aus Sicht der Autorin einem deutschen ZFA-Leser, der wenig methodische Vorkenntnisse hat, am meisten nutzen. Es wurde am Ende systematisch geprüft, ob wichtige Aspekte unbehandelt blieben. Qualitative Forschung bezeichnet eine Gruppe verschiedener Forschungsmethoden, die sich hinsichtlich des Vorgehens bei der Datenerhebung, der Datenaufbereitung und auch bei der Auswertung erheblich unterscheiden können. In der quantitativen Forschung zählt die randomisierte kontrollierte Studie mehr als beispielsweise eine Anwendungsbeobachtung. In der qualitativen Forschung gibt es keine vergleichbare Hierarchie. Um beurteilen zu können, ob die angewandte Methode für die Fragestellung richtig und angemessen war, bedarf es eines breiten Verständnisses qualitativer Methoden. 2004 erschien in der ZFA ein Beitrag von Sielk et al., der einen ersten Überblick über verschiedene Verfahren und ihre Anwendung ermöglicht [17]. Folgende 10 Fragen seien dem Leser zur Bewertung von Aufsätzen über ein qualitatives Forschungsprojekt empfohlen: 1. Ist die Fragestellung klar formuliert? Bloß keine Hypothese! Wie in jeder Forschung bedarf es einer klaren, relevanten und beantwortbaren Frage. Qualitative Fragen sind in der Regel jedoch wesentlich breiter als die Fragestellungen in der quantitativen Forschung. Eine Hypothese wird man vergebens suchen, ist doch die Hypothesengenerierung ein Ziel der qualitativen Forschung, nicht jedoch deren Testung. Wie breit die Frage ist, hängt wieder von der Methode ab. Üblich ist eine Ableitung der Frage aus dem Wissen, das bereits zugänglich ist. Es gibt aber auch Verfahren, die so konzipiert sind, dass der Forschende bewusst pseudonaiv und unvoreingenommen, d. h. sogar ohne Kenntnis vorhandener Literatur und mit einer sehr breiten Frage mit der Arbeit beginnt. Dies sollte gegebenenfalls offen gelegt und begründet werden. Auch ist es nicht unüblich, mit einer offenen Frage zu beginnen, und sich nach Sichtung des Materials zu entscheiden, welche konkreten Fragen intensiver verfolgt und welche Aspekte nicht vertieft werden. Fortbildung 2. Ist eine qualitative Methode der Frage angemessen? Geht es ums Zählen oder ums Verstehen? Ein grundlegendes Prinzip in der qualitativen Forschung ist die Wertschätzung von subjektiven Wirklichkeiten bzw. umgekehrt die Ablehnung des Glaubens an eine objektive Wahrheit. Jedes Individuum nimmt die Welt anders wahr und gute Forschung konstituiert ein umfassendes und komplexes Bild aus verschiedenen Perspektiven, das aber nie widerspruchsfrei sein wird. Die qualitative Forschung eignet sich daher, wenn es um Verstehen geht: zum Beispiel zur Erfassung von Einstellungen oder subjektiven Erfahrungen. Misstrauisch sollte man werden, wenn die Forschungsfrage lautete: „wie viel?“ Oder „Ist A besser als B?“ Qualitative Arbeiten findet man eher da, wo das Forschungsfeld erst wenig erschlossen ist, aber auch dort, wo man verstehen möchte, warum etwas so ist, wie man mittels quantitativer Verfahren festgestellt hat. 249 3. Ist die Wahl der Methode zur Datenerhebung gut begründet? Halbstandardisierte Interviews passen immer!? Die mit Abstand gebräuchlichste Methode sind Interviews. Einzelinterviews können jedoch sehr unterschiedlich gestaltet sein: Im einen Extrem narrative Interviews, die außer einer einleitenden Frage keine Vorgaben machen, mehrere Stunden andauern können und dem Erzählfluss der Befragten folgen. Ein anderes Extrem sind strukturierte Interviews, in denen neben offenen Fragen auch hypothesengerichtete Fragen gestellt werden. Der allgemeingebräuchliche Begriff halbstandardisiertes Interview wird oft missverständlich verwendet (vgl. auch hierzu [17]), weiterführende Angaben sind hier zu fordern. Gruppeninterviews, allen voran die Fokusgruppe erfreuen sich zunehmender Beliebtheit, ist doch die Datenerhebung weniger zeitaufwendig. Ihre eigentliche Stärke, die Ermöglichung der Erfassung von Interaktionen zwischen den Teilnehmern und der Dynamik eines Themas, steht oft nicht im Mittelpunkt. Intime Fragen und solche, die Themen behandeln, bei denen die Gefahr der Beantwortung anaDunkelberg S. Wie gut ist … Z Allg Med 2005; 81: 248 – 252 log sozialer Erwünschtheit besteht, eignen sich nur sehr bedingt für Gruppenverfahren. Deutlich seltener findet man hierzulande Beobachtungsverfahren, mit dem Forscher als teilnehmendem oder von außen betrachtendem Beobachter. Diese sind besonders wertvoll, will man Handlungsweisen erfassen, ist doch berichtetes Handeln in der Regel nie identisch mit realem Handeln. Auch die Analyse von Dokumenten, Foto und per Tonträger oder Video aufgezeichneten Gesprächen sind Verfahren, die für bestimmte Fragestellungen erste Wahl sein können. Die Auswahl des Verfahrens sollte begründet werden. Ebenso sollte die Methode der Datenerhebung einschließlich ihrer Stärken und Schwächen erläutert werden. In aller Regel ist es ein Zeichen für Qualität, wenn mehrere Erhebungswege (sinnvoll) kombiniert wurden, was man auch als Triangulation bezeichnet. Vorstellung davon haben, wie die Autoren von den Rohdaten zu den beschriebenen Ergebnissen gekommen sind. Spezielle Computerprogramme zur Speicherung und Unterstützung der qualitativen Auswertung von Texten können hilfreich sein, aber ihre Nichtverwendung ist kein Zeichen von mangelnder Qualität und ihre Angabe allein kein Zeichen für Qualität. Überlegungen zur Validierung der Ergebnisse sollten enthalten sein, beispielsweise durch die gezielte Suche nach abweichenden Deutungen oder durch Rückmeldungsschleifen an die Teilnehmer an der Studie (Member checking oder kommunikative Validierung). 250 Fortbildung 6. Legt der Autor seine Vorannahmen, den theoretischen Rahmen, seine Perspektive und Positionierung offen? Schreibt der Forscher viel über sich? Ein wichtiges Qualitätsmerkmal qualitativer Forschung ist die Reflexivität. Der auswählende und interpretative Prozess der Auswertung des umfangreichen (Text)materials führt dazu, dass die – jedem Mensch und somit auch jedem Forscher innewohnende – Subjektivität die Ergebnisse beeinflusst. Dies wird als unvermeidlich angesehen. Wichtig ist nicht, dies zu vermeiden, sondern dies offen zu legen und zu reflektieren. Hilfreich sind darüber hinaus Strategien, die einen Tunnelblick vermeiden: die Beteiligung verschiedener Personen bei der Auswertung in Interpretationsgemeinschaften, gerne auch von solchen mit einem unterschiedlichen Hintergrund, kann dazu beitragen. Forscher sind keine leeren Blätter und sie haben bewusst oder unbewusst ein theoretisches, aus ihrer persönlichen und professionellen Erfahrung gespeistes Vorverständnis. Diese eigene Positionierung (siehe den Beitrag von Vera Kalitzkus in diesem Heft) offen zu legen und dem Leser mitzuteilen, wird in vielen Checklisten empfohlen. 4. Sind die Auswahl der Probanden und des Settings der Frage angemessen? Ist die Fallzahl klein genug? Ungewohnt sind zunächst für den mit der qualitativen Methodik nicht vertrauten Leser die geringen Fallzahlen und die fehlende Bedeutung einer Auswahl der Untersuchungspopulation nach repräsentativen Gesichtspunkten. Das heißt jedoch nicht, dass die Auswahl beliebig ist, ganz im Gegenteil sollte die Stichprobenwahl (,Sampling‘) gut überlegt und begründet sein. Der bewusste Verzicht auf Repräsentativität erfordert eine so genaue Beschreibung der Teilnehmer, dass dem Leser eine Abschätzung möglich wird, inwieweit die Ergebnisse auf seinen Kontext übertragbar sind. Dabei ist besonders bei kulturell sensiblen Fragen die Übertragbarkeit von Forschung aus anderen Ländern und Gesundheitswesen auf deutsche Verhältnisse kritisch zu hinterfragen. Zur Beurteilung der obigen Frage ist es hilfreich, die Fragestellung der Studie zum Maßstab zu machen: Eignet sich das gewählte Teilnehmerkollektiv zur Beantwortung der Studienfrage? Eine ungewöhnlich große Fallzahl weckt den Verdacht, dass nur eine oberflächliche Analyse durchgeführt wurde, denn die Bewältigung von großen Datenmengen und eine tiefer gehende Analyse des gesamten Materials schließen sich nahezu aus. 7. Erfüllt die Darstellung der Ergebnisse die Anforderungen? Kann man „nachrechnen“? Bei einer quantitativen Studien würde man nicht empfehlen, Originaldaten mitzuliefern, damit der Leser beispielsweise den Mittelwert selbst errechnet, wenngleich auch dort manchmal die ein oder andere einfache Nachrechnung die Qualität von Studien sofort infrage stellen kann. Bei qualitativen Studien ist dies ein wenig anders: hier sind Ausschnitte der Originaldaten gefragt. Neben der Veranschaulichung dient dies auch der Unterscheidung, was Interpretation des Autors ist und was von den Informanten stammt. Qualitative Verfahren sind in unterschiedlichem Ausmaß interpretativ. So gibt es welche, die eher auf einer deskriptiven Ebene bleiben, während andere auf die Entdeckung neuer Theorien abzielen. Arbeiten ganz ohne Interpretation werden in der Regel nicht als Forschung angesehen. Wünschenswert ist, dass der Leser nachvollziehen kann, wo die Interpretation beginnt, exemplarisch Originaltext und die Deutung vergleichen kann und optimaler weise alternative Verstehensweisen diskutiert werden. Klarheit und Übersichtlichkeit in der Form spricht für Klarheit im Kopf des Untersuchers. Man darf erwarten, dass die Ergebnisse strukturiert dargestellt und gut zu verstehen sind. 5. Ist die Datenauswertung so beschrieben, dass der Leser das Vorgehen nachvollziehen kann? Ist der Methodenteil genauso lang wie der Ergebnisteil? Ein wichtiges Qualitätsmerkmal qualitativer Studien ist die nachvollziehbare Darstellung der Aufbereitungsverfahren und der Auswertungsstrategie. Angesichts einer Vielzahl von Verfahren und Varianten und des Fehlen von Standards reicht es nicht, zu sagen, man habe eine Inhaltsanalyse oder eine Auswertung nach den Regeln der „grounded theory“ vorgenommen, um zwei gebräuchliche Verfahren zu nennen. Auch der nicht vorgebildete Leser sollte nach dem Lesen des Methodikteils eine Dunkelberg S. Wie gut ist … Z Allg Med 2005; 81: 248 – 252 8. Führt die Untersuchung zu neuen und relevanten Erkenntnissen? Das hat mir mein gesunder Menschenverstand auch schon vorher gesagt! Auch dies ist eine universelle Frage, die sich beim kritischen Lesen stellt, gleich welche Methodik verwendet wurde. Eine Schwäche qualitativer Studien ist mitunter das Verhaftet-Bleiben am Detail, ist die detaillierte Beschreibung der verschiedenen Erlebniswelten doch auch ausgesprochen spannend. Es sollte aber doch am Ende eine Betrachtung auf einer Metaebene, eine Zusammenfassung oder ein Resümee geben. Ich persönlich mag die Leitfragen des BMJ (British Medical Journal) sehr gerne: Dort heißt es: „was weiß man bereits?“ und „was fügt diese Studie hinzu?“ Diese Angaben sollten leicht zu extrahieren sein. Weitere Fragen sind: Wurde die Eingangsfrage beantwortet? Sind die Ergebnisse interessant? Welche Schlussfolgerungen ergeben sich? nicht: „Je mehr sich die Autoren selbst schlecht machen, desto schlechter ist die Studie“. Das Gegenteil lässt sich ebenfalls keineswegs annehmen! Qualitative Forschung bildet immer einen begrenzten Ausschnitt der subjektiven Wirklichkeit der Untersuchten und Untersucher ab. Der Nachweis einer objektiven, allgemein gültigen „Wahrheit“ (so es sie denn gibt) wird mit diesem methodischen Ansatz nicht angestrebt. Alternative Betrachtungsweisen, andere Untersucher, eine andere Untersuchungspopulation, ein anderer Ort, all dies kann andere Ergebnisse begründen, die dann diesem anderen Ausschnitt angemessen sind. Diese Grundhaltung des Forschers sollte erkennbar sein. Interessenkonflikte: keine angegeben. Fortbildung Literatur Boulton M, Fitzpatrick R. Qualitative research in health care. 2. A structured review and evaluation of studies. J Eval Clin Pract 1996; 2: 171 – 179 2 Giacomini MK, Cook DJ, et al. Users’ guides to the medical literature, xxiii: Qualitative research in health care. A. Are the results of the study valid? JAMA 2000; 284: 357 – 362 3 Giacomini MK, Cook DJ, et al. Users’ guides to the medical literature: xxiii. Qualitative research in health care. B. What are the results and how do they help me care for my patients? JAMA 2000; 284: 478 – 482 4 Greenhalgh T, Taylor R. How to read a paper: Papers that go beyond numbers (qualitative research). BMJ 1997; 315: 740 – 743 5 Hoddinott P, Pill R. A review of recently published qualitative research in general practice. More methodological questions than answers? Fam Pract 1997; 14: 313 – 319 6 www.iphrp.salford.ac.uk/cochrane/diss_ex am 18.5.2005 7 Malterud K. Qualitative research: Standards, challenges, and guidelines. Lancet 2001; 358: 483 – 488 8 Mays N, Pope C. Qualitative research in health care: Assessing quality in qualitative research. BMJ 2000; 320: 50 – 52 9 Mays N, Pope C. Qualitative research: Rigour and qualitative research. BMJ 1995; 311: 109 – 112 10 Seale C, Silverman S. Ensuring rigour in qualitative health care. Eur J of Pub Health 1997; 7: 379 – 384 11 Popay J, Wilimas G. Rationale and standards for the systematic review of qualitative literature in health services research. Qual Health Res 1998; 8: 341 – 351 12 bmj.bmjjournals.com/advice. dann zu ,checklists‘ am 18.5.2005 13 Critical appraisal checklist for an article on qualitative research. www.gla.ac.uk/departments/generalpractice/qualitative_research. PDF am 18.5.2005 14 Vermeire E, Royen PV, Griffiths F, et al. The critical appraisal of focus group research articles. Eur J Gen Pract 2002; 8: 104 – 108 15 Barbour R. Checklists for improving rigour in qualitative research: a case of the tail wagging the dog? BMJ 2001; 322: 1115 – 1117 16 Chapple A, Rogers A. Explicit guidelines for qualitative research: A step in the right direction, a defence of the ‘soft’ option, or a form of sociological imperialism? Fam Pract 1998; 15: 556 – 561 17 Sielk M, Brockmann S, Wilm S. Qualitative Forschung – Hineindeuten in oder Abbilden von Wirklichkeit? – Ein klärender methodischer Überblick. Z Allg Med 2004; 80: 334 – 342 1 9. Wurde die relevante Literatur berücksichtigt und angemessen diskutiert? Von wann ist die neueste Literaturangabe? Spätestens in der Diskussion, in der Regel aber schon in der Einleitung sollte ein Bezug zu bereits bestehendem Wissen hergestellt werden. Hier gelten keine anderen Regeln als in anderen Wissenschaftsbereichen auch. Ist die relevante Literatur erfasst? Wie aktuell ist das Verzeichnis? Werden die Ergebnisse der Autoren in einen angemessenen Bezug zu den bereits vorliegenden Erkenntnissen gestellt? Diese Fragen sind oft ohne eigene Literaturrecherche nicht zu beantworten. Eine kurze Suche in der Datenbank ,Medline‘ mit den von den Autoren selbst angegebenen Stichworten kann aber hier mit wenig Aufwand einen Anhalt geben. 251 10. Enthält die Arbeit eine selbstkritische Methodendiskussion? Beansprucht der Autor für sich, die Wahrheit ergründet zu haben? Eine solche methodenkritische Diskussion darf sich neben den Schwächen durchaus auch mit den Stärken befassen. Sie gehört aber auf jeden Fall in die Arbeit. Dabei gilt selbstverständlich Tab. 1 10 wichtige Punkte bei der Bewertung qualitativer Studien 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Fragestellung klar, relevant und spannend? Qualitative Methode der Frage angemessen? Erhebungsverfahren angemessen und begründet? Untersuchungspopulation gut überlegt und begründet? Aufbereitungs- und Auswertungsverfahren nachvollziehbar? Reflexion des Forschereinflusses? Ergebnisse nachvollziehbar und klar? Neue Erkenntnisse gewonnen? Relevante Literatur berücksichtigt? Methodenkritik vorhanden? Zur Person Dr. med. Sandra Dunkelberg, wissenschaftliche Assistentin, Fachärztin für Allgemeinmedizin, Forschungsschwerpunkt: Die subjektiven Krankheitskonzepte der Patienten und der Umgang der Ärzte mit diesen. Dunkelberg S. Wie gut ist … Z Allg Med 2005; 81: 248 – 252


(Stand: 06.06.2005)

Als Abonnent können Sie die vollständigen Artikel gezielt über das Inhaltsverzeichnis der jeweiligen Ausgabe aufrufen. Jeder Artikel lässt sich dann komplett auf der Webseite anzeigen oder als PDF herunterladen.