Loading...

ZFA-Logo

Der OSCE (Objective Structured Clinical Examination) Allgemeinmedizin: eine kompetente praktische Prüfung nach dem Blockpraktikum

DOI: 10.1055/s-0028-1083790

Der OSCE (Objective Structured Clinical Examination) Allgemeinmedizin: eine kompetente praktische Prüfung nach dem Blockpraktikum

Ausbildung 375 Der OSCE (Objective Structured Clinical Examination) Allgemeinmedizin: eine kompetente praktische Prüfung nach dem Blockpraktikum The (OSCE) Objective Structured Clinical Examination in General Practice as an Assessment of High Competency after the Block Training Period Autoren Institute J. Jäger1, V. Köllner2, N. Graf3 1 2 Lehrbereich Allgemeinmedizin, Medizinische Fakultät Homburg/Saar Abteilung für Psychosomatik, Medizinische Fakultät, Homburg/Saar 3 Abteilung für Pädiatrische Onkologie, Medizinische Fakultät, Homburg/Saar Schlüsselwörter OSCE Allgemeinmedizin Blockpraktikum Key words OSCE General Practice block training period Zusammenfassung & Hintergrund: Mit der neuen ÄAppO wurde an den Medizinischen Hochschulen u. a. auch in der Allgemeinmedizin die Durchführung eines benoteten Blockpraktikums verbindlich eingeführt. In den Akademischen Lehrpraxen besteht dabei eine auffällige Tendenz zu überwiegend sehr guten Beurteilungen. Es stellte sich die Frage, in wie weit die dort vergebenen Noten zuverlässig die klinisch-praktische Kompetenz des Studierenden widerspiegeln. Methoden: Zur Klärung dieser Frage wurden 98 Studenten, die im Wintersemester 2006/2007 ihren Kurs Allgemeinmedizin erfolgreich abgeschlossen hatten und danach in ein einwöchiges Blockpraktikum gingen, zu Beginn des folgenden Semesters in einem OSCE (Objective Structured Clinical Examination), bestehend aus vier Stationen, geprüft. Ergebnisse: Während die Verteilung der Notenhäu?gkeiten in den Praktikumsnoten eine starke Lastigkeit in Richtung sehr guter Bewertungen zeigte, war diejenige des OSCE eindeutig realistischer. Im Blockpraktikum betrug der Mittelwert der vergebenen Noten 1,27, im OSCE lag dieser bei 2,41. Nur ca. ein Viertel der Prüfungsteilnehmer hatten im OSCE gleich gute oder sogar bessere Noten als im Blockpraktikum. Die überwiegende Mehrheit zeigte eine um ein bis zwei Stufen schlechtere Benotung. Schlussfolgerungen: Obwohl ein OSCE große Anforderung an Planung, Durchführung und auch ?nanziellen Aufwand stellt, ist er als klinischpraktische Prüfung auf hohem Kompetenzniveau in der studentischen Ausbildung nicht mehr wegzudenken. Dabei macht auch ein nur aus wenigen Stationen bestehender OSCE durchaus Sinn. Wünschenswert wäre die Durchführung eines „großen“ OSCE, der die Blockpraktika mehrerer Fächer gleichzeitig abprüft, gleichsam als Kompetenz-Check vor Beginn des Praktischen Jahres. Abstract & Introduction: With the introduction of the new licensing regulation for physicians (ÄAppO), the regular attendance of a block practical training period in general practice is obligatory and its performance has to be marked. It has been noticed, that these marks are showing a trend to predominantly very good judgements. So the question has been raised, to what extent they are reliably reflecting the students’ clinical and practical competence. Methods: To give an answer to this question, 98 students, who had concluded their course in general practice in the winter term 2006/2007 and the one-week block training period afterwards, have been reviewed in an four-stations-OSCE (Objective Structured Clinical Examination) at the beginning of the following term. Results: While the frequency-distribution of the marks, taken during the block training period, showed a strong tendency to the direction of very good results, is was almost normally distributed showing in the OSCE. While the average mark taken during the block training period had been 1.27, it was 2.41 in our OSCE. Approximately only 25 % of the participants of our OSCE had equal or better marks than in the block training. The prevailing majority showed marks one to two degrees worse. Conclusions: Planning and performing an OSCE is a big job. Nevertheless, being a clinical-practical test at a high level of competence, it is an important part of modern medical education! Its performance is useful and even makes sense, consisting of only a few stations. It would be desirable to use a “big” OSCE as a one-time examination for several block training periods of di?erent medical areas. This could be a ?nal “competencycheck” for the practical year as well. Peer reviewed article eingereicht: 04.06.2008 akzeptiert: 28.07.2008 Bibliogra?e DOI 10.1055/s-0028-1083790 Online Publikation: 2008 Z Allg Med 2008; 84: 375–381 © Georg Thieme Verlag KG Stuttgart · New York ISSN 1433-6251 Korrespondenzadresse Dr. J. Jäger Med. Fakultät Homburg/Saar Lehrbereich Allgemeinmedizin Campus Homburg 66421 Homburg/Saar dr.jaeger@onlinehome.de Jäger J et al. Der OSCE Allgemeinmedizin … Z Allg Med 2008; 84: 375–381 376 Ausbildung Fragestellung & Die am 1. Oktober 2003 in Kraft getretene neue Ärztliche Approbationsordnung forderte u. a. die verbindliche Einführung benoteter Blockpraktika in den Fächern Chirurgie, Innere Medizin, Gynäkologie, Pädiatrie und Allgemeinmedizin. Nach bestandener schriftlicher Abschlussprüfung ( Abb. 1a,b) des Kurses Allgemeinmedizin (5. Klinisches Semester) absolvieren deshalb auch die Studierenden unserer Fakultät ein einwöchiges Praktikum in einer unserer z. Zt. 187 Akademischen Lehrpraxen, die nach einem vorgegebenen Auswahlverfahren für diese Aufgabe akkreditiert wurden. Die im Praktikum zu erreichenden Lernziele und ein Portfolio sind auf der Internetseite des Lehrbereichs Allgemeinmedizin (www.amuh.de) verö?entlicht; das Begleitheft muss zum Blockpraktikum mitgebracht werden und enthält, neben Erklärungen und Arbeitsblättern, das Testatblatt, mit dem der in der Praxis lehrende Kollege „seinen“ Studenten am Ende der Woche benotet ( Abb. 2a). Auf diesem Bewertungsbogen wird aus 11 Einzelnoten eine Gesamtnote berechnet; dabei stufen diese Einzelnoten beobachtete praktische Fertigkeiten, wie Untersuchungstechniken und Gesprächsführung ein, aber auch sog. „Attitudes“ und fachliches Wissen. Die Testatbögen im Blockpraktikum Allgemeinmedizin wurden von Anfang an kontinuierlich statistisch ausgewertet und zeigen eine konstante, au?ällige Tendenz zu sehr guten Noten. Im Durchschnitt erreichen in jedem Semester drei Viertel der Studierenden die Gesamtnote „sehr gut“, nur zwei Prozent schließen mit „befriedigend“ oder „ausreichend“ ab. Noch nie hat ein Student im Blockpraktikum ein „mangelhaft“ erhalten. Gleichzeitig sind die Evaluationen der Praktika durchweg gut bis sehr gut und heben sich, im Vergleich mit denen der Blockpraktika anderer Fächer, z. T. deutlich ab. Vor dem Hintergrund sich abzeichnender Diskussionen innerhalb der Fakultät, ob das Blockpraktikum Allgemeinmedizin „zu leicht“ sei und die Benotungen „Sympathie-gesteuert“ oder gar „geschenkt“ seien, soll in einer Machbarkeitsstudie mit einem Objective Structured Clinical Examination (OSCE) nach dem Abschluss des Praktikums eine zentrale, möglichst objektive Bewertung der Leistungen der Studierenden durchgeführt werden. Danach sollen die Leistungen im OSCE mit den korrespondierenden Noten aus den Lehrpraxen verglichen werden. Abb. 1 a: Erreichte Punkte in der schriftlichen Abschlussprüfung im Kurs Allgemeinmedizin, Wintersemester 2006/2007 (n = 98). b: Notenergebnisse in dieser Prüfung. Methodik & Bei einem OSCE handelt es sich um eine klinisch-praktische Prüfung, bei der in einem festgelegten, konstanten Zeittakt verschiedene Stationen eines Parcours nacheinander durchlaufen werden müssen. Über das hinausgehend, was Multiple-choiceFragen oder Key-feature-Prüfungen an Aussagekraft über den Wissens- und Kompetenzzuwachs des Studierenden zu bieten fähig sind, prüft ein OSCE direkt auf der dritten Stufe der Lernpyramide nach Miller ( Abb. 3) und gibt damit eine hervorragende Einsicht in praktische Fertigkeiten, die Anwendung prozeduralen Wissens und sogar in das Vorhandensein bzw. Heranreifen ärztlicher Haltung („Attitudes“). Durch den Abgleich der Prüfungsinhalte mit dem notwendigerweise vorhandenen Curriculum wird die erwünschte klinisch-praktische Kompetenz inhaltlich valide geprüft; die dabei von den Prüfern an den Stationen verwendeten Checklisten garantieren die Konstanz der Prüfungsstruktur. Jäger J et al. Der OSCE Allgemeinmedizin … Z Allg Med 2008; 84: 375–381 Abb. 2 a: Testblatt für das Blockpraktikum Allgemeinmedizin, verwendet bis SS 2007. Während sie im englischsprachigen Raum bereits seit vielen Jahren etabliert ist [6, 7, 13, 15], hat sich die Prüfungsform des OSCE erst in jüngeren Jahren auch an deutschen Medizinischen Hochschulen mehr und mehr als praktische Prüfung auf hohem Kompetenzniveau bewährt [2, 3, 5, 14, 17]. Für die Planung und Ausbildung 377 Abb. 3 Lernpyramide nach Miller. Abb. 4 Gantt-Diagramm für den OSCE Allgemeinmedizin April 2007. Abb. 2 b: Erläuterungen der Kompetenzbereiche und Notenkriterien. Durchführung unseres OSCE waren, neben einer gründlichen Literaturrecherche, vor allem die Erfahrungen und Empfehlungen anderer Medizinischer Fakultäten sehr hilfreich [8, 9, 11]. An unserer Hochschule bestanden bisher große Vorbehalte gegenüber dieser Form einer praktischen Prüfung; daher sollte der OSCE Allgemeinmedizin für unsere Fakultät ein Novum sein. Die Zeitspanne für Prüfungsplanung und -vorbereitung erstreckte sich von Oktober 2006 bis zum Prüfungstermin im April 2007. Die Veranstaltungsordnung für das Blockpraktikum Allgemeinmedizin wurde eigens geändert; die Studierenden erfuhren gleich zu Beginn des Wintersemesters über die neue Prüfung nach dem Blockpraktikum. Dies führte anfangs zu einer deutlich bemerkbaren Beunruhigung, wusste ja bisher niemand so richtig, was ein OSCE ist und wie er abläuft. Im Laufe des Semesters und mit zunehmender Information nahm diese Unruhe jedoch deutlich ab. Auf der Homepage des Lehrbereichs Allgemeinmedizin waren die de?nierten Lernziele des Blockpraktikums Allgemeinmedizin schon seit längerer Zeit verö?entlicht. Aus Studiengebühren konnten Mittel von ca. 5 000 S bescha?t werden; diese waren kalkulierte Kosten für Material (z. B. Spritzen, Kanülen, Bescha?ungskosten für ein Phantom) und Aufwandsentschädigung für die Prüfer, Simulationspatienten und Helfer für die Organisation. Eine sonstige oder personelle Unterstützung durch die Fakultät fand nicht statt; das gesamte Projektmanagement lag in den Händen des Lehrbereichs Allgemeinmedizin, der an unserer Fakultät nicht institutionalisiert ist. Mit der Hilfe einer sog. GanttChart ( Abb. 4) wurde eine Planungsstruktur entworfen, die strikt eingehalten wurde. Abb. 5 Blueprint des OSCE Allgemeinmedizin WS 2006/2007. Auf der Basis des Curriculums wurden die zu prüfenden praktischen Kompetenzen und speziellen Aufgabenstellungen festgelegt. Der aus vier Stationen bestehende Parcours wurde dann unter der Zuhilfenahme eines sog. blueprints ( Abb. 5) konstruiert und somit ein Abgleich der Prüfungsinhalte mit dem Lernzielkatalog vorgenommen, d. h. die gewünschte Inhaltsvalidität gesichert. Alle 98 Absolventen des Blockpraktikums Allgemeinmedizin des Wintersemesters 2006/2007 wurden per Losverfahren auf zwei Prüfungstage im April 2007 verteilt. Um eine Überschneidung der Prüfungstermine mit anderen Veranstaltungen des Sommersemesters 2007 zu vermeiden, wurden zwei aufeinander folgende Samstage gewählt. Die Wahl des Prüfungsortes gestaltete sich nicht weniger schwierig. Schließlich sollten Räumlichkeiten nicht nur für die Prüfungsstationen vorhanden sein, sondern auch Wartezonen für die Studierenden, ausreichend Toiletten usw. Die wenigsten Komplikationen bereitete es, Jäger J et al. Der OSCE Allgemeinmedizin … Z Allg Med 2008; 84: 375–381 378 Ausbildung den OSCE in einer ca. 12 km vom Campus entfernt gelegenen Lehrpraxis statt?nden zu lassen. Diese hatte eine für diesen Zweck ideal erscheinende Struktur ihrer Räumlichkeiten, verfügte über ausreichend Parkplätze und war auch an Samstagen mit ö?entlichen Verkehrsmitteln gut zu erreichen. Die zeitliche Einteilung zur Prüfung, Details zur Organisation und zum Ablauf des OSCE, wurden auf der Homepage des Lehrbereichs Allgemeinmedizin rechtzeitig verö?entlicht. Jeder Studierende hatte für jede der vier OSCE-Stationen 6 min Prüfungszeit. Zwischen den Stationen sollte eine Minute reichen, um zu wechseln und sich mit der Aufgabe der nächsten Station vertraut zu machen. So konnten in 28 min vier Studierende gleichzeitig geprüft werden. Pro Prüfungstag wurden zweimal drei Stunden Prüfungszeit geplant, unterbrochen durch eine einstündige Mittagspause mit Verp?egung der an der Durchführung des OSCE beteiligten Personen. Bereits acht Wochen vor der Prüfung waren drei Simulationspatienten rekrutiert worden. Sie wurden geschult, um folgende klinischen Fälle darzustellen: Einen jungen Patienten, der seit Tagen zunehmende Bauchschmerzen hat, einen ängstlichen Patienten mit „Herzschmerzen“, und einen Patienten mit Husten und Belastungsdyspnoe. An der vierten Station mussten die Studierenden eine korrekte venöse Blutentnahme an einem Phantom demonstrieren. Die Prüfer waren Lehrbeauftragte für Allgemeinmedizin, die in dem betro?enen Semester auch unterrichtet hatten. An jeder Station konnten 20 Punkte erreicht werden, die mit einem Checklisten-Rating ermittelt wurden. An den Stationen mit Simulationspatienten kam es dabei nicht darauf an, eine „richtige“ Diagnose zu ?nden, sondern es wurden kommunikative Fähigkeiten, praktische Fertigkeiten und auch Haltungen bewertet. So gab es z. B. Punkte für die Qualität der Kontaktaufnahme, Inhalt der Anamnese, Vollständigkeit der Untersuchung, Untersuchungstechnik und Gesprächsführung. Ein exemplarisches Beispiel einer Stations-Checkliste zeigt Abb. 6. Um auch in den Lehrpraxen eine objektive, strukturierte Beurteilung der Studierenden zu erhalten, konnten die Praxisinhaber dort auf eine schriftliche Darstellung der zu beurteilenden Kompetenzen und die Kriterien für die Leistungseinstufung zurückgreifen ( Abb. 2b). Lange vor den Prüfungsterminen im April einigten sich fünf unserer Dozenten mithilfe eines modi?zierten Standard-SettingVerfahrens nach Ango? [11, 18] auf die minimale Punktzahl, die zum Bestehen des OSCE notwendig sein würde. Die Spannweite zwischen maximal zu erreichender Punktzahl und minimaler Bestehensgrenze wurde dann in vier gleich große Blöcke eingeteilt, um die Zuweisung einer Note von 1 („sehr gut“) bis 4 („ausreichend“) zu ermöglichen. Die Prüfung sollte kompensatorisch sein, d. h. für die Endnote war die im gesamten OSCE erreichte Punktzahl entscheidend. Auf den Prüfungsbögen mussten die Prüfer, neben der erreichten Stationspunktzahl, auch eine globale Einschätzung der Prüfungsleistung in der Spannweite von Note 1 („sehr gut“) bis Note 5 („mangelhaft“) abgeben. Damit sollte ein Vergleich der nach Checklisten-Punkten erreichten Note mit dem augenscheinlichen Gesamteindruck möglich sein. Nach Durchlaufen des Gesamt-Parcours baten wir die Studierenden um eine anonyme Evaluation in freier Form. Am Ende eines jeden Prüfungstages wurden die Bewertungsbögen der OSCEStationen eingesammelt und, ebenso wie die Evaluationsbögen, ausgewertet. Die Prüfer wurden um ein kurzes, informelles Feedback gebeten. Abb. 6 Checkliste für den Prüfer der OSCE-Station „Bauchschmerz“. Ergebnisse & Alle 98 zum OSCE eingeteilten Absolventen des Blockpraktikums Allgemeinmedizin aus dem Wintersemester 2006/2007 nahmen auch tatsächlich an der Prüfung teil. Fasst man die Ergebnisse der beiden Prüfungstage zusammen, so haben die meisten der Studierenden (n = 44) die Note 2 („gut“) erreicht. Nur etwas weniger häu?g (n = 33) wurde die Note 3 („befriedigend“) vergeben. In diesen beiden Benotungen stellten sich die Leistungen von rund 83 % der Prüfungsteilnehmer dar. Während niemand durchgefallen war, erreichten ungefähr gleich viele Studierende die Noten 1 (n = 10) und 4 (n = 6). Der Notendurchschnitt lag damit bei 2,41 ( Abb. 7). In der subjektiven, globalen Einschätzung der Prüfungsleistungen durch die jeweiligen Stations-Prüfer zeigten sich nur überraschend geringe Abweichungen gegenüber den Ergebnissen, die auf der Grundlage des Checklisten-Ratings entstanden. Der Notendurchschnitt des „Global Ratings“ lag bei 2,43, war also fast identisch mit dem o. g. Mittelwert der Noten nach Standard-setting. Im Kontrast hierzu wurde der Mittelwert der in den Lehrpraxen vergebenen Praktikumsnoten mit dem Ergebnis 1,27 errechnet, war also über eine Note besser als der des OSCE. 77 der Teilnehmer des Blockpraktikums Allgemeinmedizin wurden von ihren Lehrärzten mit „sehr gut“ benotet, 17 mit der Note „gut“. Nur dreimal gab es ein „befriedigend“, einmal ein „ausreichend“ ( Abb. 7). Von allen Prüfungsteilnehmern erreichten nur drei im OSCE eine bessere Note als im Blockpraktikum, 21 hatten dieselbe Note. Jäger J et al. Der OSCE Allgemeinmedizin … Z Allg Med 2008; 84: 375–381 Ausbildung 379 Abb. 7 Häu?gkeitsverteilungen der Noten im Blockpraktikum und im OSCE Allgemeinmedizin Wintersemester 2006/2007 (n = 98). am Phantom an anderen Studenten durchgeführt werden sollte (jeder kann stechen und wird gestochen). Aber sonst sehr sinnvoll.“ § „Sehr schöne Prüfung! Entspannte Prüfungssituation, gute Darsteller. Möglichkeit ist gegeben, Fragen an die Prüfer zu stellen. Mehr davon ….!!“ § „Super Idee! Vom Prinzip her gut! Stellt eine an sich annähernd reale Situation dar. Sehr angenehme Prüfungssituation.“ § „Station 1: gut; Station 2: befriedigend; Station 3: sehr gut; Station 4: gut. Positiv waren die gespielten Situationen mit Statisten als Patienten. Die Blutentnahme am Arm u. v. a. das Gespräch mit dem Plastikarm ist eher nicht so gelungen. Besser wären vielleicht ebenfalls Statisten und nur die Punktion am Arm.“ Praktisch niemand beschwerte sich über diese, für unsere Fakultät neue Form der Prüfung. Man attestierte mehrheitlich die Notwendigkeit moderner und kompetenter Prüfungsformen, insgesamt auch die Notwendigkeit, mehr praktisch zu prüfen. Auch über die Prüfungsinhalte und den Prüfungsablauf gab es nur positive Kommentare; man wünschte sich aber auch mehr Möglichkeiten zur Vorbereitung auf einen OSCE, z. B. am Simulationspatient und auch am Phantom. Kritisiert wurde die Tatsache, dass die Prüfungen an Samstagen stattfanden und auch nicht auf dem Campus, sondern in einer o?enbar doch für manche Studierenden zu weit entfernten Lehrpraxis. Die Resonanz der Prüfer bestand überwiegend in der Anerkennung des OSCE als überaus wertvolle und kompetente Form einer praktischen Prüfung. Unterschiede in den demonstrierten Prüfungsleistungen waren leicht und deutlich zu erkennen; mit der Hilfe der Checklisten hatten alle Prüfer das Gefühl, objektive Kriterien zur Hand zu haben. Sechs Stunden Prüfungszeit schienen aber eine deutliche, auch körperliche, Anstrengung zu verursachen. Der Samstag als Prüfungstag galt den meisten Prüfern, erst recht nach einer arbeitsreichen Woche in der eigenen Praxis, als schwerwiegende zusätzliche Belastung. Schlussfolgerungen & Es besteht ganz o?ensichtlich eine große Diskrepanz zwischen den Noten, die Absolventen des Blockpraktikums Allgemeinmedizin von ihren Lehrärzten erhalten, und denen, die in einem OSCE erreicht werden (Mittelwert im Blockpraktikum: 1,27 vs. 2,41 im OSCE). Warum ist dies so? Während im OSCE überwiegend Fertigkeiten geprüft werden, ?ossen in die Praktikumsnote z. B. auch die Beurteilungen von reinem Wissen, Dokumentation, Teamfähigkeit usw. ein. Hat dies die Benotungen so stark beein?usst, dass damit die guten Ergebnisse zu erklären sind? Der für unsere Studie verwendete Testatbogen für die Lehrpraxen wurde im letzten Wintersemester 2007/2008 durch einen neuen Bogen ersetzt, wie er z. Zt. innerhalb der DEGAM empfohlen wird ( Abb. 9). Dieser stammt aus dem Lehrbereich Allgemeinmedizin der Universität Marburg und legt sehr viel mehr Betonung auf die Bewertung von Haltungen, Kommunikation, Untersuchungstechnik und selbstständigem Denken. Überraschenderweise zeigt jedoch auch mit diesem, modernen TestatBogen die Auswertung der Ergebnisse des Wintersemesters 2007/2008 bei uns einen Notendurchschnitt von 1,27 (n = 149). In Marburg selbst wurden Notenmittelwerte von 1,57 (Herbst Jäger J et al. Der OSCE Allgemeinmedizin … Z Allg Med 2008; 84: 375–381 Abb. 8 Vergleich der im Blockpraktikum Allgemeinmedizin vs. im OSCE im Wintersemester 2006/2007 erreichten Noten (n = 98). Damit zeigten 74 von 98 Prü?ingen (75,5 %) im OSCE eine um mindestens eine Notenstufe schlechtere Leistung, als die ihnen in der Lehrpraxis attestierte. Von diesen 74 wiederum hatten 36 eine Abstufung von zwei oder drei Noten im OSCE erfahren (36,7 % der Gesamtteilnehmer) ( Abb. 8). Mithilfe des Wilcoxon-Vorzeichen-Rangsummentests konnte die Nullhypothese (die Verteilung der Noten im Blockpraktikum unterscheidet sich nicht von der im OSCE Allgemeinmedizin) statistisch verworfen werden (Z = 0,506 für OSCE-Note < > Praktikumsnote). Die Freitext-Evaluationen unserer Prüfungs-Teilnehmer ?elen in der Mehrheit äußerst positiv aus. Einige Zitate als Beispiele: § „Alles in allem eine gute und sinnvolle Prüfung. Man kann gut das wiedergeben, was man im Blockpraktikum gelernt hat. Ggf. sollte man überlegen, ob die Station Blutabnahme statt 380 Ausbildung Abb. 9 Neues Testatblatt für das Blockpraktikum Allgemeinmedizin. 2007) und 1,54 (Frühjahr 2008; persönliche Mitteilung) errechnet. Dort ho?t man jetzt auf eine bessere Notendi?erenzierung durch eine Revision der Punkte-Sta?elung. In unseren Evaluationen, die wir regelmäßig seit seiner Einführung durchführen, wird das Blockpraktikum Allgemeinmedizin stets sehr gut durch die Studierenden bewertet. Dies liegt sicherlich u. a. daran, dass es durch die 1:1-Betreuung und der großen Bandbreite der dargestellten Medizin für den Studierenden sehr oft interessanter ist, als eines der in anderen Fächern angebotenen Blockpraktika. Nicht selten werden dort mehr oder weniger große Gruppen von Studierenden durch einen einzigen Arzt betreut. Von seinem Ausbildungsstand, seiner Motivation und seinen zeitlichen Möglichkeiten, je nach dem, für welche anderen Aufgaben innerhalb der Klinik er noch zuständig ist, hängt es dann letztendlich ab, ob, was und wie viel er den jungen, angehenden Kolleginnen und Kollegen beibringen kann. In den Akademischen Lehrpraxen für Allgemeinmedizin aber tre?en diese zum allergrößten Teil auf hoch motivierte und engagierte Kollegen, die alle schon seit längeren Jahren Fachärzte sind. Die intensive Betreuung des Studierenden durch seinen Lehrarzt mag aber auch einer der Gründe sein, warum dieser letztendlich all zu häu?g zu sehr guten Noten auf dem Bewertungsbogen tendiert. Hierbei kann eine Rolle spielen, dass der unterrichtende Kollege den mehr oder weniger unbewussten Wunsch haben mag, das Fach Allgemeinmedizin, wie auch die Arbeit in der Hausarztpraxis dem Studierenden in guter Erinnerung zu erhalten. Aber auch die bewusste Vermeidung einer Kon?iktsituation könnte hier eine Rolle spielen, wie auch Erinnerungen an die eigene Ausbildungszeit und eigene Benotungssituationen. Vielen Jäger J et al. Der OSCE Allgemeinmedizin … Z Allg Med 2008; 84: 375–381 Kollegen fällt es generell schwer, eine Note zu vergeben, und sei es auch mit der Anleitung eines Bewertungsbogens. In den Blockpraktika der anderen Fächer werden an unserer Fakultät die Noten auf unterschiedlichste Weise ermittelt. Teilweise werden mündliche Prüfungen, auch am Krankenbett, durchgeführt; es gibt aber auch Fächer, die nach dem Praktikum eine schriftliche Prüfung durchführen. Dankenswerterweise erhielten wir Einblick in die Notenspiegel der Blockpraktika einiger anderer Fächer für denselben Zeitraum (WS 2006/2007). Für uns überraschend zeigten die Auswertungen der Ergebnisse der Abschlussprüfungen dieser Praktika ebenfalls eine deutliche Tendenz zu sehr guten Zensuren. Im Blockpraktikum Chirurgie wurde z. B. ein Notendurchschnitt von 1,62 erreicht (n = 53). Im Lehrbereich Pädiatrie mit aufwändiger, praktischer Prüfung errechnete sich ein Noten-Mittelwert von 1,42 bei 81 geprüften Studenten. Vor diesem Hintergrund konnten wir das Vorurteil, das Blockpraktikum Allgemeinmedizin sei „besonders leicht“, bereits im Vorfeld abschwächen. O?enbar besteht generell ein großer Bedarf an strukturierten praktischen Prüfungen. Mit der Einführung des OSCE Allgemeinmedizin wurde die Überprüfung der Frage, ob die Lernziele des Blockpraktikums Allgemeinmedizin erreicht werden, zentral geregelt und damit eine, von der Lehrpraxis unabhängige, „gerechtere“ Benotung ermöglicht. Als klinisch-praktische Prüfung auf hohem Kompetenzniveau [2, 11, 14] ist ein OSCE zu diesem Zwecke ideal und emp?ehlt sich auch zur Anwendung in anderen Blockpraktika. Wir konnten zeigen, dass es bei den meisten Studierenden große, bei vielen auch erhebliche Unterschiede zwischen den Leistungsbewertungen in den Lehrpraxen und denen in einem OSCE gibt. Im Gegensatz zu denen in den Lehrpraxen, zeigen die Ergebnisse im OSCE eine annähernd „ideale“ Verteilung. Ein positiver Nebene?ekt der neuen Prüfungsform wird seit der Einführung des OSCE Allgemeinmedizin auch immer deutlicher: schon immer galt, „gelernt wird, was geprüft wird“. Die Lehrpraxen berichten, dass das eigene Lern-Engagement der Studierenden, gerade auch beim Erwerb von klinischen Fertigkeiten, deutlich zugenommen hat. Mehr als früher wird sich z. B. aktiv um eine Teilnahme bei der morgendlichen Blutentnahme im Labor, beim EKG-Schreiben usw. bemüht. Eine kompetente Prüfung sollte valide, objektiv und reliabel sein. Unter Reliabilität versteht man die Zuverlässigkeit oder Reproduzierbarkeit von Prüfungsergebnissen; sie stellt damit das quantitative Hauptkriterium einer modernen Prüfung dar, denn nur mit einer ausreichend hohen Reliabilität kann man auch valide prüfen. Objektive, messbare Außenkriterien zur Messung der Validität einer Prüfung gibt es generell sehr selten; als praktische Prüfung in einer „Real-Life“-Situation geht man beim OSCE von einer hohen Augenschein-Validität aus. Eine su?ziente Inhalts-Validität wird erreicht durch die De?nition von Problemfeldern, in denen Kompetenz gefordert wird und der Konstruktion dazu passender, spezi?scher Aufgabenstellungen. Mittels des bereits weiter oben genannten blueprint erfolgt deren inhaltlicher Abgleich mit dem Curriculum. Die Konstruktvalidität eines OSCE wurde bereits mehrfach positiv beurteilt, z. B. durch die Feststellung, dass ein OSCE ein sehr guter Prädiktor für spätere klinische Prüfungen ist [12]. Dass der OSCE typischerweise eine zuverlässige Objektivität besitzt, ist ihm bereits in den Namen geschrieben. Gleiche Prüfungsbedingungen für alle Studierenden (Simulationspatienten, Phantom usw.) garantieren die notwendige Durchführungs-Objektivität. Die klar strukturierten Checklisten stellen den Erwartungshori- Ausbildung 381 zont unmissverständlich dar und sorgen damit für die notwendige Interpretations- und auch Auswertungs-Objektivität. Obwohl bei den meisten Prüfungen in der klinischen Ausbildung nicht erreicht, wird in der Literatur für eine relevante, moderne Prüfung eine Reliabilität von 0,8 und größer gefordert. Die Reliabilität einer OSCE-Prüfung steigt mit der Anzahl der Stationen und der Prüfungszeit [16]. Um als „stand-alone“-Prüfung eine hinreichend gute Reliabilität zu erreichen, sollte ein OSCE aus wenigstens 12, qualitativ möglichst hochwertigen Stationen bestehen [11]. Dies stellt natürlich einen erheblichen Aufwand an Planung und Logistik dar, der z. B. die Möglichkeiten unseres Lehrbereichs bei Weitem übersteigt. Darüber hinaus verschlingt ein OSCE auch Gelder, die sorgsam kalkuliert sein sollten [1, 2, 4]. Denkbar ist, dass mehrere klinische Fächer sich an einem gemeinsamen, „großen“ OSCE beteiligen und sich damit, bei zentraler Planung und Durchführung, der Aufwand für jedes teilnehmende Fach letztendlich deutlich verringert. Eine große, wenn auch zeitlich länger dauernde, praktische Prüfung wäre sicherlich auch den meisten Studierenden lieber, als zahlreiche Einzeltermine für Prüfungen, die völlig unterschiedlich strukturiert sind. Ein mehrere Fächer übergreifend prüfender OSCE wäre gleichzeitig auch für die Studierenden eine gute Möglichkeit, die eigene klinische Kompetenz vor dem Beginn des Praktischen Jahres zu überprüfen und hätte auf Anhieb die o. g., geforderte hohe Reliabilität. Dass der OSCE als Prüfung in den studentischen Evaluationen sehr gut akzeptiert wird, sollte seinen breiteren Einsatz ebenfalls unterstützen. Nach dem Abschluss des Blockpraktikums bietet der OSCE Allgemeinmedizin eine exzellente Möglichkeit, objektiv und kompetent praktisch zu prüfen. Durch die mögliche Anwendung von Mischkalkulationen, d. h. der Bildung von Gesamtnoten durch gewichtete Einzelnoten (z. B. aus Klausurergebnis, OSCE und Praktikums-Testat) lässt sich, bedingt durch die größere Gesamtanzahl der bewerteten Aufgaben, eine bessere Gesamt-Reliabilität erzielen [10]. Letztendlich erweist sich der OSCE Allgemeinmedizin als ein nützliches Instrument zur Korrektur des, leider etwas verzerrten, Notenspiegels aus den akademischen Lehrpraxen. 10 Möltner A, Schellberg D, Jünger J. Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild 2006; 23 (3): Doc53 11 Nikendei C, Jünger J. OSCE – praktische Tipps zur Implementierung einer klinisch-praktischen Prüfung. GMS Z Med Ausbild 2006; 23 (3): Doc47 12 Park RS, Chibnall JT, Blaskiewicz RJ, et al. Construct validity of an objective structured clinical examination (OSCE) in psychiatry: associations with the clinical skills examination and other indicators. Academic psychiatry 2004; 28 (2): 122–128 13 Prislin MD, Fitzpatrick CF, Lie D, et al. Use of an objective structured clinical examination in evaluating student performance. Family medicine 1998; 30 (5): 338–344 14 Schrauth M, Riessen R, Schmidt-Degenhard T, et al. Praktische Prüfungen sind machbar. GMS Z Med Ausbild 2005; 22 (2): Doc20 15 Townsend AH, MacLlvenny S, Miller CJ, et al. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to ?nal medical school examination performance. Medical education 2001; 35 (9): 841–846 16 Vleuten CPM Van der. : Reliability of OSCEs. University of Maastricht: AMEE conference, 29th August – 1st September 2002. Maastricht: AMEE; 2002. Zugänglich unter: 2002; www.fdg.unimaas.nl educ/cees/amee 17 Wagner TOF, Blume J, Kr üger O, et al. Evaluation der Inneren Medizin der Medizinischen Hochschule Hannover. Med Ausbild 1995 (12): 30–38 18 Wilkinson TJ, Newble DI, Frampton CM. Standard setting in an objective structured clinical examination: use of global ratings of borderline performance to determine the passing score. Medical education 2001; 35 (11): 1043–1049 Zur Person Dr. J. Jäger, § Seit 1990 niedergelassen als Facharzt für Allgemeinmedizin in Blieskastel § Seit 1993 volle Weiterbildungsermächtigung durch die Ärztekammer des Saarlandes § Seit 1999 Lehr- und Prüftätigkeit für die Ärztekammer des Saarlandes § Seit dem Wintersemester 2001/2002 regelmäßige Vorlesungen und Seminare im Lehrbereich Allgemeinmedizin der Medizinischen Fakultät Homburg/Saar Seit Frühjahr 2004 verantwortlicher Leiter des Lehrbereichs Allgemeinmedizin Vollständige Umsetzung der 2003 in Kraft getretenen neuen ÄAppO durch die Installation einer strukturierten, curriculär verankerten Lehre. Rekrutierung von z. Zt. mehr als 190 akademischen Lehrpraxen für die Ausbildung der Studierenden im Blockpraktikum Allgemeinmedizin. Konstantes feedback durch Evaluation des Kurses und des Blockpraktikums Allgemeinmedizin von Anfang an. Konstant gute bis sehr gute Evaluationsergebnisse. Leitung eines Teams von 7 freiberuflichen Kollegen, das sich regelmäßig trifft, um Inhalt und Qualität der Lehre abzusprechen und zu verbessern. Mitarbeit in der Studienkommission und im Arbeitskreis „teach the teacher“. Von 10/2006 bis 05/2008 Postgraduierten-Studium in medical education (MME-D, Heidelberg). Dabei erstmals Kontakt mit und Freude an der Ausbildungsforschung. Interessenskon?ikte: keine angegeben. Literatur 1 Blume JH, Perleth M, Busse R. Was kostet die Objective Structured Clinical Examination? Med Ausbild 2000 (17): 12–17 2 Chenot J-F, Ehrhardt M. Objective structured clinical examination (OSCE) in der medizinischen Ausbildung: Eine Alternative zur Klausur. Z Allg Med 2003 (79): 437–442 3 Falck-Ytter Y, Stiegler I. Beurteilung klinischer Fähigkeiten mit dem OSCE-Verfahren. Med Ausbild 1993; 91–107 4 Frye AW, Richards BF, Philp EB, et al. Is it worth it? A look at the costs and bene?ts of an OSCE for second-year medical students. Medical teacher 1990; 11 (3–4): 291–293 5 Fuchs A, Sielk M, Altiner A, et al. Vergleich verschiedener Methoden der Leistungsüberprüfung im Lehrfach Allgemeinmedizin.; A comparison of di?erent methods of performance assessment for the course in general medicine. Gesundheitswesen 2005–06; 67 (6): 432–437 6 Hall-Turner WJ. An experimental assessment carried out in an undergraduate general practice teaching course (OSCE examination). Medical education 1983; 17 (2): 112–119 7 Harden RM, Stevenson M, Downie W W, et al. Assessment of clinical competence using objective structured examination. Brit med J 1975; 1 (5955): 447–451 8 Jünger Jana. OSCE Innere Medizin. Stuttgart: Thieme; 2005 9 Kompetent prüfen. Handbuch zur Planung, Durchführung und Auswertung von Facharztprüfungen. Bern, Wien: IAWF; 1999 § § § § § Jäger J et al. Der OSCE Allgemeinmedizin … Z Allg Med 2008; 84: 375–381


(Stand: 09.09.2008)

Als Abonnent können Sie die vollständigen Artikel gezielt über das Inhaltsverzeichnis der jeweiligen Ausgabe aufrufen. Jeder Artikel lässt sich dann komplett auf der Webseite anzeigen oder als PDF herunterladen.