Loading...

ZFA-Logo

Itemkonstruktion in sequenziellen Mixed-methods-Studien

DOI: 10.3238/zfa.2012.0520-0527

Methodenbeschreibung anhand eines Beispielprojekts

Description of an Approach

PDF

Heinz Harald Abholz, Anja Wollny, Stefan Wilm, Andrea Icks, Michael Pentzek, Oliver R. Herber, Rolf Porst

Schlüsselwörter: Interview Fragebogen mixed methods Diabetes mellitus psychosoziale Faktoren

Hintergrund: Mixed-methods-Design nennt man einen Studienaufbau mit paralleler oder sequenzieller Nutzung qualitativer und quantitativer Methoden. In der explorativ-sequenziellen Variante wird das Forschungsfeld zuerst mit qualitativen Methoden (z.B. Interviews) erschlossen, um nachfolgend die Ergebnisse z.B. in Form von Fragebögen an einer größeren Stichprobe zu quantifizieren. Für den Übergang von den Interviews zur Itemsammlung gibt es noch keine Standards, die beschreiben, wie man methodisch hierbei vorgehen soll.

Methoden: Anhand eines Beispielprojekts zur Charakterisierung von „gut vs. schlecht“ eingestellten Menschen mit Diabetes mellitus Typ 2 wird ein mehrstufiges Vorgehen aufgezeigt, in dem die Auswahl passender Fragebogenitems hauptsächlich von den Ergebnissen der vorangegangenen Interviewanalysen geleitet war.

Ergebnisse: Es wurden Experten einbezogen, bestehende Fragebögen recherchiert und inhaltlich wie methodisch bewertet. Die hier gefundenen Items wurden mit den Interviewergebnissen abgeglichen und teilweise umformuliert; einige Items wurden neu konstruiert. Ein wichtiger Schritt war die Durchführung kognitiver Pretests (als eine weitere qualitative Methode innerhalb von Mixed-methods-Designs), bei denen ein Testleiter die Bearbeitung einer Erstversion der Items durch Angehörige der späteren Zielpopulation (= Menschen mit Diabetes mellitus Typ 2) genauer untersuchte, um dabei auftretende Schwierigkeiten und Missverständnisse zu erkennen.

Schlussfolgerungen: Das genannte Vorgehen war zeitaufwendig, mündete aber in einer Itemsammlung, die eng an die Interviewanalysen angelehnt ist. In Projekten mit einem explorativ-sequenziellen Mixed-methods-Design sollte der Zeit- und Kostenaufwand für die Entwicklung des quantitativen Instruments angemessen berücksichtigt werden. Expertise aus dem Bereich der Fragebogenkonstruktion sollte im Projektteam vorhanden sein oder eingeholt werden.

Einleitung

Die Anwendung zweistufiger Studiendesigns unter paralleler oder sequenzieller Nutzung qualitativer und quantitativer Methoden (Mixed-methods-Designs) [1] hat in den letzten Jahren auch in der medizinischen Forschung an Bedeutung gewonnen; die Anzahl an Originalarbeiten mit Mixed-methods-Designs steigt jährlich [2]. Im Bereich der gesundheitspsychologischen Forschung werden Mixed-methods-Designs mittlerweile als legitimes und erfolgversprechendes third paradigm (neben den Paradigmen der rein qualitativen und rein quantitativen Forschung) diskutiert. In einer häufig eingesetzten Form der sequenziellen Mixed-methods-Designs (die explorative Vorgehensweise, auch instrument design model genannt [3]) wird zunächst qualitativ das Forschungsthema erschlossen (z.B. mit Interviews), um auf Basis dieser Ergebnisse geeignete Instrumente (z.B. Fragebögen) auszuwählen oder zu entwickeln, mit denen die Ergebnisse an einer größeren Stichprobe quantifiziert werden sollen. (Die zweite sequenzielle Vorgehensweise ist der „erklärende“ Ansatz, bei dem die zuerst gewonnenen Fragebogenergebnisse im zweiten Schritt mit qualitativen Methoden erklärt werden sollen.)

Allgemein birgt die Integration von qualitativen und quantitativen Verfahren und Ergebnissen einige Schwierigkeiten und wird in der Sozialwissenschaft und in der medizinischen Forschung zu komplexen Interventionen schon länger diskutiert [4, 5]. Der Prozess des Abgleichs der qualitativen Ergebnisse mit den nachfolgend einzusetzenden quantitativen Verfahren stellt dabei besondere methodische Herausforderungen, weil es nach wie vor keine theoretisch fundierte, praktisch umsetzbare standardisierte Methodik gibt.

In diesem Methodenartikel soll anhand eines von den Autoren durchgeführten Mixed-methods-Projekts aus der Versorgungsforschung dargestellt werden, wie in einer konkreten Studie aus den analysierten Interviews Schritt für Schritt eine Itemsammlung entstand. Die hier dargestellten Schritte sind nicht neu, entsprechen dem (zumindest in der Theorie) gängigen Vorgehen der Fragebogenkonstruktion [6], wollen jedoch am praktischen Beispiel die Besonderheiten des Mixed-methods-Designs betonen. Die psychometrische Itemanalyse ist nicht Thema dieses Artikels, sondern ausschließlich der Prozess der Itemsammlung und -formulierung.

Methoden

 

Aufgabenstellung

Hauptgütekriterien der Testentwicklung sind Objektivität, Reliabilität und Validität. Letztere lässt sich in Inhalts-, Kriteriums- und Konstruktvalidität aufteilen. Während die meisten Gütekriterien empirisch ermittelt und in Zahlen ausgedrückt werden können, besteht bei der Ermittlung der Inhaltsvalidität eines Fragebogens eine gewisse Unschärfe.

Maßgebend für eine hohe Inhaltsvalidität ist eine gute Herleitung der Annahme, dass die gewählten Items eine repräsentative Auswahl aus der Vielzahl aller möglichen Items darstellen, die für die Erfassung des zu messenden Konstrukts in Frage kämen: Sind die Items ausreichend charakteristisch für das zu erfassende Merkmal? Lienert und Raatz [7] schreiben auf Seite 11 ihres Standardwerks, dass „inhaltliche Validität [...] einem Test in der Regel durch ein Rating von Experten als ,Konsens von Kundigen‘ zugebilligt“ wird, und auch laut Moosbrugger und Kelava [8, S. 15] ist die „Autorität von Experten“ ausschlaggebend.

Nun entscheidet man sich für ein explorativ-sequenzielles Mixed-methods-Design u.a. aus dem Grund, dass es für die Auswahl oder Entwicklung eines bestimmten Fragebogens keine oder unzureichende inhaltliche Expertise gibt. Man will durch die vorgeschalteten Interviews genau diese Lücke füllen und das Forschungsfeld in einem ersten Schritt qualitativ erschließen. Im Sinne Bühners [6, S. 48] wird man dazu im medizinischen Bereich die entsprechende Zielgruppe für den zu entwickelnden Fragebogen (Patienten, MFA, Angehörige, Ärzte etc.) interviewen, um einen Einblick in deren Sichtweisen und (Krankheits-) Konzepte zu erhalten. Dieser qualitative Projektteil hat dann zweierlei Funktion: Da es nach Möglichkeit auch immer eine theoretische Basis für die bearbeitete Fragestellung geben sollte, können die Interviewanalysen diesen theoretischen Unterbau befruchten, erweitern, modifizieren. Interviews und Theorie bilden gemeinsam das Gerüst für die im Fragebogen zu erfassenden Konstrukte, so wie Rushton et al. [9] für die Itemkonstruktion Banduras Selbstwirksamkeitskonstrukt mit eigenen Interviews kombinieren. Weiterhin liefern die Interviews wichtige Hinweise zur Sprach- und Lebenswelt der Zielgruppe; dies sollte man bei der Formulierung konkreter Items berücksichtigen. Das Vorgehen zur Herstellung von Inhaltsvalidität geht also in Mixed-methods-Designs weit über den Experten-Konsens hinaus.

Der hier vorliegende Artikel beschreibt die Erstellung einer Itemsammlung auf Basis von Interviewergebnissen in Verbindung mit theoretischen Überlegungen. Fokus ist also die Entwicklung von Items, die begünstigend für eine hohe Inhaltsvalidität sind. Im gesamten Prozess der Fragebogenentwicklung befinden wir uns damit vor der ersten quantitativen Datenerhebung und damit vor der psychometrischen Analyse. Erst letztere erlaubt dann die Erfassung der testtheoretischen Qualität der Items, die Auswahl von Items für den endgültigen Fragebogen sowie die Ermittlung weiterer Gütekriterien.

Das Beispielprojekt

In einer von der Bundesärztekammer 2007–2009 geförderten Studie sollten Spezifika schlecht eingestellter Patienten mit Diabetes mellitus Typ 2 in Hausarztpraxen v.a. in patientenseitigen, psychologischen Variablen identifiziert werden. Bestehende Diabetes-Leitlinien [10] konzentrieren sich wenig auf die Gruppe der schlecht eingestellten Patienten mit Diabetes mellitus Typ 2; sie beziehen sich auf die Gesamtgruppe der Menschen mit Diabetes mellitus Typ 2 und unterstellen zudem, dass es eine Frage der Aufklärung, der Wissensvermittlung sei, den Gruppenwert (z.B. für HbA1c) zu verbessern. Bislang ist wenig über die psychosozialen Charakteristika der Menschen bekannt, die diesen Gruppenwert senken. Einige demografische und klinische Eigenschaften (z.B. Krankheitsdauer, soziale Stellung) scheinen die schlecht eingestellten von den gut eingestellten Patienten zu trennen, doch selbst hierfür gibt es widersprüchliche Befunde in der Literatur, und die Varianz der HbA1c-Werte wird durch diese Merkmale nur wenig aufgeklärt [z.B. 11].

Das Projekt wurde als Querschnittserhebung angelegt. Das Forschungsfeld wurde zuerst mit qualitativer Methodik erschlossen. Hier wurden aus narrativen Interviews mit 20 schlecht und 20 gut eingestellten Patienten sowie mit deren 20 Hausärzten potenzielle Einflussfaktoren auf die Stoffwechseleinstellung identifiziert, inhaltsanalytisch aufgearbeitet und systematisiert (zu Methodik und Ergebnissen siehe [12]). Auf Basis der Interviewanalysen wurde in den im vorliegenden Artikel dargestellten Arbeitsschritten ein Itempool erstellt, der sowohl an gut als auch an schlecht eingestellte Hausarztpatienten mit Diabetes mellitus Typ 2 verschickt wurde. Ziel war es, Items zu finden, welche die beiden Gruppen (gut vs. schlecht eingestellt) bestmöglich voneinander trennen, sprich sie charakterisieren können.

Ein positives Votum der Ethikkommission der Medizinischen Fakultät der Heinrich-Heine-Universität Düsseldorf liegt vor.

Ergebnisse

Abbildung 1 zeigt die sechs Schritte der Itementwicklung sowie die Punkte, an denen externe Experten zurate gezogen wurden: Da die methodische Vorgehensweise beim Übergang vom qualitativen zum quantitativen Studienteil keinem vorgeschriebenen Schema folgen konnte, wurde das Projektteam zunächst von einem Experten für die Kombination von qualitativer und quantitativer Forschung beraten. Im Rahmen der Fragebogenrecherche wurden fünf Experten zu inhaltlichen Aspekten konsultiert. Ein Experte für die Praxis der Fragebogenkonstruktion unterstützte das Projekt in mehreren Projektphasen. Das Projektteam selbst deckte die Kompetenzfelder der quantitativen Fragebogenentwicklung, der qualitativen Forschung, der inhaltlichen Fragen der Diabetesversorgung und der psychologischen und pflegewissenschaftlichen Modelle des Gesundheitsverhaltens ab.

1. Festlegung der abzufragenden Kategorien aus den Interviews

In einer multiprofessionellen Arbeitsgruppe (ein Hausarzt, ein Pflegewissenschaftler, eine Gesundheitswissenschaftlerin, ein Psychologe; 3 Männer, 1 Frau; Alter 31–48 Jahre; keiner selbst von Diabetes mellitus betroffen) wurden auf Grundlage der Interviewanalysen [12], der bestehenden Fachliteratur und gesundheitspsychologischer Modelle die als wichtig erachteten und mit Items zu erfassenden potenziellen Einflussfaktoren auf die Stoffwechseleinstellung ermittelt. Dabei wurde darauf geachtet, dass vorwiegend im Datenmaterial als Kategorien gefundene patientenseitige, psychologische Einflussfaktoren in der zu schaffenden Itemsammlung abgebildet werden1. Die Vorgabe, Items zu finden/zu entwickeln, die möglichst eng an die Zitate aus den Interviewanalysen angelehnt sind, sollte dazu beitragen, auch bislang nicht oder wenig berücksichtigte Aspekte und Ausprägungen bereits bekannter Konstrukte (z.B. Risikowahrnehmung) erfassen zu können. Besondere Beachtung fanden Faktoren, die im HAPA-Modell nach Schwarzer (Health Action Process Approach; [13]) als prä-intentionale Variablen der motivationalen Phase bezeichnet werden (u.a. die Selbstwirksamkeitserwartung). Sowohl in unseren Interviews als auch in der internationalen Literatur [z.B. 14] spielen diese Faktoren eine wichtige Rolle. Die Verknüpfung der Interviewergebnisse mit dem HAPA-Modell war ein wichtiger Punkt im Rahmen der Festlegung der zu messenden Merkmale.

Die Erfassung von verhaltensnahen Variablen und konkretem Gesundheitsverhalten sowie von psychiatrischen Symptomen wurde explizit ausgeklammert, da diese nicht im Fokus des hier beschriebenen Projekts standen und mit der angewendeten Methodik auch nicht zu erheben waren. Ein Zusammenhang zwischen diesen Variablen und der Einstellungsgüte wurde mehrfach beschrieben [z.B. 16, 17]. Die in den Interview-analysen erarbeiteten neun Kategorien sind in Tabelle 1 dargestellt.

2. Recherche bestehender Fragebögen

Um die im Datenmaterial enthaltenen möglichen Einflussfaktoren auf die Stoffwechseleinstellung in einem Fragebogen abfragen zu können, wurden zunächst bestehende Fragebogen- Instrumente zu psychosozialen Faktoren bei Diabetes mellitus identifiziert. Dazu wurden Literaturrecherchen in medizinischen und psychologischen Datenbanken vorgenommen (Medline, SCOPUS, PsycINFO, PSYNDEXplus Tests). Wichtige Quellen waren weiterhin die Referenzen der gefundenen Artikel und Bücher zum Zusammenhang zwischen psychosozialen Faktoren und Diabetes.

27 Fragebögen kamen in Teilen für unsere Fragestellung in Betracht und wurden im Detail auf ihre Brauchbarkeit überprüft (Appendix A – online unter www.online-zfa.de/).

3. Inhaltlicher Abgleich der Fragebögen mit den identifizierten Faktoren aus Schritt 1

Alle gefundenen Fragebogen-Instrumente wurden auf Items durchsucht, die inhaltlich zu den im Interviewmaterial enthaltenen Kategorien passen könnten. Es folgen einige Beispiele.

„Wie sicher sind Sie sich, dass Sie 4 bis 5 Mal pro Woche für 15 bis 30 Minuten körperlich aktiv sein können?“ (aus Instrument B in Appendix A) Dieses Item bezieht sich zwar grundsätzlich auf die Kategorie Selbstwirksamkeit, die erfasset werden soll. Neben Mängeln in der Itemformulierung führten aber folgende Punkte dazu, dieses Item nicht weiter zu berücksichtigen: a) Es wird nicht diabetesspezifisch gefragt. b) Es wird auf eine Dimension fokussiert (Bewegung), die sich in den Interviewanalysen nicht als möglicher erklärender (Sub-) Faktor herausstellte und die gemäß Punkt 1 auch nicht abgebildet werden soll.

„Die Probleme, die im Zusammenhang mit dem Diabetes auftreten können, kann ich sehr gut meistern.“ (I; J) Das Item fragt auf einer übergeordneten Ebene nach der Selbstwirksamkeit bei Problemen im Rahmen des Diabetes. Die fehlende Konkretisierung der Probleme in der Formulierung erlaubt es in diesem Fall, dass der Beantwortende seine subjektive Vorstellung von diabetesbezogenen Problemen bewerten kann. Da dies mit den Interviewergebnissen und unseren Festlegungen in Einklang stand, wurde dieses Item (nach geringfügiger Modifizierung) übernommen.

„Es hilft mir, wenn mir andere Tipps geben, was ich beim Diabetes besser machen kann.“ (Q) Das Item bezieht sich zwar auf die Kategorie des sozialen Umfelds. Es wurde in den Interviews jedoch kein Hinweis darauf gefunden, dass diese Dimension (Informationsvermittlung durch soziales Umfeld) für Patienten von Belang ist. (Item nicht übernommen)

„Gibt es in Ihrem Leben Menschen, die Ihnen im Umgang mit Ihrem Diabetes helfen?“ (E; I) Dieses Item zum sozialen Umfeld bildet das ab, was in vielen Interviews angesprochen wurde: Die Unterstützung beim Umgang mit der Erkrankung durch nahe stehende Personen (z.B. entsprechend kochen, spazieren gehen, den Arzt anrufen, Termine machen; also eher praktisch als wissensvermittelnd) wird als hilfreich beschrieben. (Item übernommen)

„Ich mache einen Behandlungsplan und handle danach.“ (I; J) Dieses Item erfasst eine aktive Dimension des Umgangs (als eine zu erfassende Kategorie), die sich in den Interviews so nicht findet. Weder von gut noch von schlecht eingestellten Patienten noch von den Hausärzten wurde das (Nicht-) Erstellen oder (Nicht-) Befolgen von Behandlungsplänen (übrigens ein doppelter Stimulus in der Itemformulierung) in bedeutsamer Weise erwähnt. (Item nicht übernommen)

„Es fällt mir schwer zu glauben, dass ich wirklich Diabetes habe.“ (T) Kategorie Umgang (Akzeptanz/Verdrängung). Dieses Item trifft das, was sich in einigen Interviews zeigte: Während einige Patienten die Erkrankung anscheinend nicht wahrnehmen oder annehmen (können), ist anderen ihr Diabetes stets präsent. (Item übernommen)

4. Konstruktion neuer Items

Für Teilaspekte von Einflussfaktoren auf die Stoffwechseleinstellung, die in den Interviews gefunden wurden, für die aber keine Items in bereits existierenden Fragebogen-Instrumenten identifiziert werden konnten, wurden neue Items konstruiert. Dabei wurde die Itemformulierung eng an dem Interviewmaterial, an typischen Formulierungen der Befragten und an natürlichen Codes aus den ausgewählten Kategorien orientiert. (Natürliche Codes sind Beschreibungen einer Gruppe von Zitaten, die eng an den Sprachgebrauch der Befragten angelehnt sind.) Dies soll an einem Beispiel deutlich gemacht werden; weitere Beispiele für Item-Neuformulierungen in Anlehnung an die Interviewergebnisse finden sich in Appendix B, Teil a).

Ein Patient berichtet im Interview: „Ist schon schlimm genug, dass man Diabetes hat, wenn man mal bedenkt, welche Folgen dadurch entstehen können.“ (67–1560: 11/26–27; Code: Diabetes ist schlimm genug). Über eine andere Patientin sagt ihr Hausarzt: „Dass sie eben ehm nicht wirklich aufgreift, wenn ich sage: Eh ehm (?), es ist notwendig das und das zu tun. Dann sagt die: Och, das ist doch alles nicht so schlimm.“ (8/1: 517–523; Code: Ist alles nicht so schlimm). Ein anderer Arzt erzählt: „Und wenn dann mal irgendwas Schlechtes ist, das ist dann auch nicht so schlimm. Dazu passt auch lachend der hohe Zuckerwert … es gibt ja [Menschen], die da einen Anspruch haben einen guten Blutzuckerwert zu haben und den hat er nicht.“ (97/2: 683–696; Code: Nicht so schlimm).

Alle drei Codes wurden der Kategorie Wahrnehmung der Schwere zugeordnet. Anstatt diese Kategorie in das Item zu übernehmen (z.B. „Ich nehme meinen Diabetes als schwerwiegend wahr.“), wurde das Item eng an den Sprachgebrauch und damit an die gelebte Realität der Patienten (und ihrer Hausärzte) angelehnt. Nach schrittweiser Vereinfachung und kognitiven Pretests lautete es schließlich: „Diabetes ist nicht so schlimm.“ Die neu konstruierten Items wurden in den Fragenkatalog aufgenommen.

5. Methodische Ausarbeitung der Items und Antwortskalen

Die Items des Fragenkatalogs wurden auf die Qualität ihrer Formulierungen und Antwortskalierungen überprüft. Es folgen einige beispielhafte methodische Überlegungen; weitere Beispiele inklusive unserer Umformulierungen sind in Appendix B, Teil b) aufgeführt2.

Bei den Items des Fragenkatalogs liegen Schwächen vor allem in der grundsätzlichen Sinnhaftigkeit sowie in der Verwendung von Formulierungen, welche Verständnisprobleme geradezu erwartbar machen. Auf Probleme bei der Gestaltung der Antwortskalen (z.B. Skalenbreite, Verbalisierung von Skalenpunkten, mittlerer Skalenpunkt) kann hier nicht näher eingegangen werden (siehe hierzu [22]).

Sinnhaftigkeit: Items machen dann keinen Sinn, wenn sie in sich unlogisch sind oder kein logisch nachvollziehbarer Zusammenhang zwischen den Items und den zu ihrer Bewertung verwendeten Skalen besteht. So macht es keinen Sinn, eine Itembatterie mit den Worten „Ist es derzeit für Sie ein Problem ...“ (aus Instrument AA in Appendix A) einzuleiten, wenn die Items bedrohliche Formulierungen enthalten, wie z.B. „dass Sie sich Sorgen über Unterzuckerungen machen“ und dann die Skala auch noch mit „kein Problem“ beginnt. Wenn man sich – laut Item – Sorgen macht, muss das ein Problem sein und kann deshalb nicht mit „kein Problem“ beurteilt werden. Zudem wird dadurch die Breite der Skala unzulässig beschnitten, weil bestimmte Skalenpunkte – in diesem Falle „kein Problem“ – logisch nicht zutreffen können.

Ähnliches gilt z.B. auch für die Frage „Sind Sie mit der Belastung, die Ihr Diabetes für Ihre Familie darstellt, zufrieden?“ (G) mit fünf Antwortkategorien von „sehr unzufrieden“ bis „sehr zufrieden“. Die Zufriedenheitsmessung ist hier unangemessen, weil man eine Belastung nicht mit Zufriedenheit in Verbindung bringen kann. Hier wäre es nachvollziehbar danach zu fragen, wie belastet die Familie durch den Diabetes, aber nicht wie zufrieden man mit der Belastung ist. Das generelle Problem, das hier durchscheint, besteht darin, dass in vielen Fragebögen versucht wird, die unterschiedlichsten Dinge in die gleiche Itembatterie einzubauen.

Itemformulierungen: Zu den Regeln der Frageformulierung [22] zählt, dass Fragen keine Unterstellungen enthalten sollen. Dies ist z.B. dann der Fall, wenn gefragt wird, ob es „derzeit für Sie ein Problem … [sei], dass Sie keine eindeutigen und klaren Ziele für Ihre Diabetesbehandlung haben?“ (AA). Wenn man keine solchen Ziele hat, ist alles einfach; man kann problemlos einen Skalenpunkt der Skala wählen, die von „kein Problem“ bis „großes Problem“ reicht. Wo aber soll jemand ankreuzen, der eindeutige und klare Ziele für seine Behandlung hat? Wenn er oder sie folgerichtig ausfüllt, müsste hier „item nonresponse“ produziert werden, also nichts angekreuzt werden; wenn er oder sie aber der Instruktion folgt und jedes Item beurteilt, wird er oder sie höchstwahrscheinlich „kein Problem“ ankreuzen und damit dazu beitragen, dass fälschlicherweise der Anteil derjenigen, die kein Problem darin sehen, dass es für ihre Diabetesbehandlung keine eindeutigen und klaren Ziele gibt, überschätzt wird.

Wichtig ist auch, dass eindeutig gemacht wird, wie man mit Items umzugehen hat, die nicht zutreffend sind. Das Item „Es fällt mir leicht, meinen Arbeitgeber und meine Kollegen über den Diabetes zu informieren“ (A) ist nur dann vernünftig zu beurteilen, wenn man berufstätig ist und zwar lohnabhängig und nicht alleine arbeitend. Für alle anderen Fälle (nicht berufstätig, selbstständig, einziger Mitarbeiter) müsste eine „trifft nicht zu“-Kategorie außerhalb der Skala definiert sein. Ansonsten besteht – ähnlich wie beim Problem der Unterstellungen dargestellt – das Risiko, dass jemand, der nicht berufstätig ist, „trifft gar nicht zu“ ankreuzt, aber nicht, weil er kein Problem darin sieht, mit seinem Arbeitgeber über seinen Diabetes zu sprechen, sondern weil er eben nicht berufstätig ist und demzufolge auch keinen Arbeitgeber hat.

6. Kognitive Pretests

Bei der Fragebogenkonstruktion gilt es unter methodischen Aspekten als unumgänglich, Praktikabilität, Verständlichkeit und Funktionsfähigkeit eines Befragungsinstruments in der Entwicklungsphase mit einem oder mehreren Pretests direkt an Probanden zu überprüfen, die zur Zielpopulation des späteren Fragebogens gehören. Unter dem Gesichtspunkt der Verständlichkeit von Items kommen dabei Techniken zum Einsatz, die unter dem Begriff „kognitive Pretests“ zusammengefasst werden können. Von besonderer Bedeutung sind in diesem Zusammenhang unterschiedliche Probing-Techniken [23]. Dabei werden den Probanden einzelne Items vorgelegt. Der Testleiter stellt nach Beantwortung einer Frage Nachfragen zu deren allgemeinem Verständnis (general probing), Nachfragen dazu, wie der Proband bestimmte Aspekte einer Frage aufgefasst hat (comprehension probing) oder Nachfragen zur Begründung der Antwort des Probanden (category selection probing, u.a. zur Erkennung von Problemen bei der Anwendung der Antwortskala). In unserer Beispielstudie konnten die diversen Probing -Techniken aus Zeitgründen (50 Items!) nur teilweise und für wenige Items angewendet werden. Pretests wurden an 5 Patienten (3 Männer, 2 Frauen; 59 bis 86 Jahre; HbA1c 6,0 bis 9,4 %) mit Diabetes mellitus Typ 2 durchgeführt, die aus einer Hausarztpraxis rekrutiert wurden. Die Probanden wurden gebeten, beim Ausfüllen des Bogens ihre Gedanken laut zu äußern und uns Unstimmigkeiten oder Verständnisprobleme mitzuteilen. Im Sinne der beschriebenen Probing-Techniken wurden zudem bei jeweils ein bis zwei Items gezielt Fragen zum Verständnis, zu einzelnen Begriffen und zur Begründung der Antwort gestellt. Nach Ausfüllen des Bogens hatten die Probanden noch Zeit, ihre Eindrücke zu schildern. Die jeweils 45– bis 60-minütigen Interviews wurden protokolliert und in einem ausführlichen Memo beschrieben.

Die wichtigsten Ergebnisse der Pretests beziehen sich auf das Layout, die Instruktionen und v.a. auf die Antwortvorgaben und Skalierungen. So wurde nach den Pretests – aufgrund von Verständnis- und Bearbeitungsproblemen der Probanden mit der siebenstufigen endpunktbenannten Skala – eine vierstufige verbalisierte Antwortskala gewählt. Bei einigen Items stellte sich zudem heraus, dass eine mehrstufige Antwortskala keinen Sinn machte, sodass diese durch dichotome Antwortvorgaben ersetzt wurde. Eine komplexe Tabelle zur Erhebung des sozialen Umfelds wurde zum besseren Verständnis in drei einfachere Tabellen umgewandelt.

Die Überarbeitung dieser formalen Details war für die Verständlichkeit der Items sehr hilfreich und resultierte in einer übersichtlicheren und verständlicheren Version. Einzelheiten werden in Appendix B, Teil c) beschrieben. Die angepasste Itemsammlung wurde wiederum im Team und in der Methodensupervision besprochen.

Als Ergebnis der sechs dargestellten Schritte hielten 50 Items Einzug in die Sammlung. Davon basierten 37 ursprünglich auf bestehenden Items, 13 waren reine Neuformulierungen (siehe Appendix C für alle Items).

Schlussfolgerungen

In Studien mit Mixed-methods-Designs steht man in der explorativ-sequenziellen (qualitativ-quantitativen) Anwendung vor dem Problem des inhaltlich und methodisch sinnvollen Übergangs vom Interview (oder von einer anderen qualitativen Methode) zum Fragebogenitem (oder einem anderen quantitativen Instrument). In der vorliegenden Arbeit wird eine Möglichkeit dargestellt, wie man diesen Prozess gestalten kann. Was davon übernommen, ausgelassen oder modifiziert wird, was man evtl. noch zusätzlich durchführen sollte, das muss in jedem Projekt individuell entschieden werden.

Kritisch anzumerken ist, dass in dem dargestellten Projekt nicht alle Schritte in aller Ausführlichkeit umgesetzt werden konnten. So war es z.B. aus Zeit- und Kostengründen nicht möglich, die Pretest-Interviews mit einer größeren Zahl von Patienten durchzuführen, zu transkribieren oder nach der Überarbeitung der Itemsammlung weitere Patienten für nochmalige Pretests zu rekrutieren. Die genannten Probing-Techniken kamen nur in Ansätzen und bei wenigen Items zur Anwendung. Weiterhin kann nicht ausgeschlossen werden, dass bei der Verknüpfung von Interviews und Theorie einige Aspekte übersehen wurden, die sich in anderen Theorien hätten finden lassen. Obwohl die Nutzung von Interviews und theoretischen Modellen dazu beitragen kann, die Inhaltsvalidität von Items zu erhöhen, kann diese mit unserem Vorgehen nicht belegt werden. In dieser Hinsicht bleibt unser Vorgehen im Prozess der gängigen Fragebogenentwicklung ganz am Anfang stehen; dennoch ist die Anwendung von mixed methods ein Versuch, die Unschärfe bei der Itementwicklung – gerade bei innovativen Fragestellungen – zu reduzieren. Insgesamt war der Zeit- und Personalaufwand des beschriebenen Vorgehens hoch und man muss sich fragen, ob dieser in einem Projekt immer angemessen ist. Wendet man aber ein solches Design inklusive Itemkonstruktion an, dann sollte man diesen Mehraufwand schon bei der Beantragung einplanen.

Der vermeintliche Vorteil, bereits publizierte Fragebögen zu verwenden, wird unter anderem (neben dem geringen Zeitaufwand und der – oft falschen – Annahme, diese seien validiert) darin gesehen, dass die Ergebnisse der eigenen Befragung mit anderen Studien vergleichbar sind. Allerdings muss man vorab prüfen, ob diese Fragebögen auch für die gleiche Fragestellung, für die gleiche Zielpopulation und im gleichen Kontext entwickelt wurden. Und selbst dann bleiben die Frage nach der Qualität der Itemformulierungen sowie das Risiko, die im eigenen Interviewmaterial enthaltenen neuen Faktoren mit den bestehenden Fragen nicht zu erfassen. Ein Rückzug auf bereits publizierte Fragebögen beschneidet somit das Potenzial der vorgeschalteten qualitativen Analysen, weil die Itemauswahl dann nicht mehr primär auf dem Einblick in das Forschungsfeld durch das Interviewmaterial basieren kann, sondern von der Suche nach veröffentlichten Instrumenten geleitet wird. Dadurch vergibt man die Chance, für den eigenen Forschungsfokus sinnvollere und wichtigere Fragen mit zudem besseren, weil dem Kontext angepassten Formulierungen zu generieren, die auf dem eigenen qualitativen Material basieren. Creswell et al. [3, S. 11] formulieren: „The intent of this model [explorativ-sequenzielles mixed methods-Design] is to develop an instrument that is grounded in the views of participants (eg. patients) rather than use an off-the-shelf instrument that might not reflect their views.“ In neueren Mixed-method-Studien wird diese Problematik thematisiert: So wurde selbst bei in der Forschungslandschaft etablierten Fragebögen festgestellt, dass sie für einzelne Fragestellungen und bei Anwendung an einer bestimmten Stichprobe wichtige Teilaspekte nicht erfassen, die von Patienten in Interviews genannt wurden [z.B. 24].

In dem dargestellten Beispielprojekt war die beschriebene Methode geeignet, um Fragebogenitems zu generieren, die sich eng an die Interviewergebnisse anlehnen, ohne bereits bestehende Instrumente zu ignorieren. Ob sich das hier dargestellte Vorgehen in guten psychometrischen Kennwerten niederschlägt (bezogen auf die Charakterisierung von gut vs. schlecht eingestellten Menschen mit Diabetes mellitus Typ 2), wird sich erst nach Auswertung der verschickten Bögen zeigen.

Förderung: Diese Arbeit wurde gefördert von der Bundesärztekammer (Förderinitiative der Bundesärztekammer zur Versorgungsforschung, Projektnummer 06–115).

Danksagung: Wir danken allen teilnehmenden Hausärzten und Patienten für ihren Beitrag zu diesem Projekt. Prof. Dr. Udo Kelle (Marburg/Hamburg) danken wir für seine Unterstützung im Rahmen des Workshops. Dr. Uwe Bott (Köln), Prof. Dr. Norbert Hermanns (Bad Mergentheim), Prof. Dr. Johannes Kruse (Giessen), Dr. Bernhard Kulzer (Bad Mergentheim) und Prof. Dr. Ralf Schwarzer (Berlin) danken wir für die Hilfe bei der Fragebogen-Recherche.

Interessenkonflikte: keine angegeben.

Die Appendices sind über die Online-Version dieses Artikels auf der Seite www.online-zfa.de zugänglich.

Appendix A Liste der recherchierten Fragebögen

Appendix B Beispiele für Item-Neuformulierungen und Item-Umformulierungen sowie formale Überlegungen zu Präsentation und Skalierung

Appendix C Die Items der endgültigen Sammlung

Korrespondenzadresse

Dr. rer. nat. Dipl.-Psych. Michael Pentzek

Institut für Allgemeinmedizin

Medizinische Fakultät der Heinrich-Heine-Universität Düsseldorf

Moorenstr. 5, Gebäude 14.97

40225 Düsseldorf

Tel.: 0211 8116818

Fax: 0211 8118755

pentzek@med.uni-duesseldorf.de

Literatur

1. Creswell JW. Research design: Qualitative, quantitative, and mixed methods approaches. 2nd ed. Thousand Oaks, CA: Sage; 2003

2. Palinkas LA, Horwitz SM, Chamberlain P, Hurlburt MS, Landsverk J. Mixed-methods designs in mental health services research: a review. Psychiatr Serv 2011; 62: 255–263

3. Creswell JW, Fetters MD, Ivankova NV. Designing a mixed methods study in primary care. Ann Fam Med 2004; 2: 7–12

4. Bryman A. Barriers to integrating quantitative and qualitative research. J Mix Methods Res 2007; 1: 8–22

5. Kelle U, Krones T. ,,Evidence based Medicine‘‘ und ,,Mixed Methods‘‘ – wie methodologische Diskussionen in der Medizin und den Sozialwissenschaften voneinander profitieren könnten. Z Evid Fortbild Qual Gesundhwes 2010; 104: 630–635

6. Bühner M. Einführung in die Test- und Fragebogenkonstruktion. München: Pearson Studium; 2004

7. Lienert GA, Raatz U. Testaufbau und Testanalyse. 6. Aufl. Weinheim: Beltz; 1998

8. Moosbruger H, Kelava A. Qualitätsanforderungen an einen psychologischen Test. In Moosbruger H, Kelava A (Hrsg.). Testtheorie und Fragebogenkonstruktion. 2. Aufl. Berlin: Springer; 2012: 7–25

9. Rushton PW, Miller WC, Lee Kirby R, Eng JJ, Yip J. Development and content validation of the Wheelchair Use Confidence Scale: a mixed-methods study. Disabil Rehabil Assist Technol 2011; 6: 57–66

10. BÄK, KBV, AWMF (Hrsg.). Nationale Versorgungsleitlinien Typ-2-Diabetes. www.versorgungsleitlinien.de/themen/diabetes2/index_html (letzter Zugriff: 31.01.2011)

11. Blaum CS, Velez L, Hiss RG, Halter JB. Characteristics related to poor glycemic control in NIDDM patients in community practice. Diabetes Care 1997; 20: 7–11

12. Herber OR, Wollny A, Pentzek M, Abholz HH, Icks A, Wilm S. Was erzählen Hausärzte über ihre Patienten mit Diabetes mellitus Typ 2? Mögliche Gründe für unbefriedigende Blutzuckerwerte. Z Allg Med 2010; 86: 203–208

13. Schwarzer R. Modeling health behavior change: how to predict and modify the adoption and maintenance of health behaviors. Applied Psychology: An International Review 2008; 57: 1–29

14. Rose M, Fliege H, Hildebrandt M, Schirop T, Klapp BF. The network of psychological variables in patients with diabetes and their importance for quality of life and metabolic control. Diab Care 2002; 25: 35–42

15. Wollny A, Marx G. Qualitative Sozialforschung – Ausgangspunkte und Ansätze für eine forschende Allgemeinmedizin – Teil 2: Qualitative Inhaltsanalyse vs. Grounded Theory. Z Allg Med 2009; 85: 467–476

16. Pirraglia PA, Gupta S. The interaction of depression and diabetes: a review. Curr Diabetes Rev 2007; 3: 249–251

17. Lerman I. Adherence to treatment: the key for avoiding long-term complications of diabetes. Arch Med Res 2005; 36: 300–306

18. Schwarzer R, Leppin A. Social support and health: a theoretical and empirical overview. J Soc Pers Relat 1991; 8: 99–127

19. Turan B, Oscar Z, Molzan Turan J, Damci T, Ilkova H. The role of coping with disease in adherence to treatment regimen and disease control in type 1 and insulin treated type 2 diabetes mellitus. Diabetes Metab 2002; 28: 186–193

20. Weiner B. Motivationspsychologie. Weinheim: Beltz; 1994

21. Ditto PH, Jemmott JB, Darley JM. Appraising the threat of illness: a mental representational approach. Health Psychol 1988; 7: 183–201

22. Porst R. Fragebogen: Ein Arbeitsbuch. Wiesbaden: VS Verlag für Sozialwissenschaften; 2011

23. Prüfer P, Rexroth M. Kognitive Interviews. ZUMA How-to-Reihe, Nr 15; 2005. www.gesis.org/fileadmin/upload/ forschung/publikationen/gesis_reihen/ howto/ How_to15PP_ MR.pdf

(letzter Zugriff: 03.03.2010)

24. Malpass A, Shaw A, Kessler D, Sharp D. Concordance between PHQ-9 scores and patients’ experiences of depression: a mixed methods study. Br J Gen Pract 2010; 60: e231–e238

Abbildungen:

Abbildung 1 Schritte der Itementwicklung im explorativ-sequenziellen Mixed-methods-Design.

Tabelle 1 Kategorien, die in Items abgebildet werden sollen.

1 Institut für Allgemeinmedizin, Medizinische Fakultät der Heinrich-Heine-Universität Düsseldorf 2 Institut für Allgemeinmedizin, Medizinische Fakutät, Universität Rostock 3 Institut für Allgemeinmedizin und Familienmedizin, Fakultät für Gesundheit, Universität Witten/Herdecke 4 School of Nursing & Midwifery, University of Dundee, Scotland 5 Abteilung Survey Design and Methodology, GESIS – Leibniz-Institut für Sozialwissenschaften, Mannheim 6 Funktionsbereich Public Health, Heinrich-Heine-Universität Düsseldorf; Institut für Biometrie und Epidemiologie, Deutsches Diabetes-Zentrum, Leibniz-Institut an der Universität Düsseldorf Peer reviewed article eingereicht: 12.04.2012, akzeptiert: 23.08.2012 DOI 10.3238/zfa.2012.0520–0527

1 Zur Begrifflichkeit: Code = zusammenfassende Beschreibung wichtiger Zitate aus Interviews; Kategorie = übergeordnete Ebene und „von den Originaldaten abstrahiertes Konzept“ [15] unter Berücksichtigung wichtiger Codes in Interviewanalysen; Item = Fragebogenfrage inkl. Antwortskala; Faktor = abzubildendes Element in einem Fragebogen (Skala); Konstrukt = theoretisches, übergeordnetes Merkmal, welches (in Teilaspekten) in einem Fragebogen gemessen werden soll

2 Überlegungen zu Skalierung und Präsentation der Items werden in Appendix B, Teil c) erläutert, in dem die Ergebnisse der Pretests angesprochen werden.


(Stand: 13.12.2012)

Als Abonnent können Sie die vollständigen Artikel gezielt über das Inhaltsverzeichnis der jeweiligen Ausgabe aufrufen. Jeder Artikel lässt sich dann komplett auf der Webseite anzeigen oder als PDF herunterladen.