Konzept der Lehr-Evaluation an der Medizinischen Fakultät Basel


Die wissenschaftliche Grundlage des Konzeptes für die Lehrevaluation an der medizinischen Fakultät Basel liefert die von Schenkel, Tergan & Lottmann (2000) beschriebene Qualitätsevaluation. Entsprechend dieser Konzeption wird die Lehrevaluation an der medizinischen Fakultät Basel als Instrument der Qualitätssicherung begriffen. „Evaluation als Qualitätssicherung dient der Unterstützung der Realisierung einer Bildungsmaßnahme in den drei Hauptphasen: Planung, Entwicklung und Einsatz“ (Schenkel et.al., 2000).

Die Planungsphase, als erste Hauptphase, kann bei Einsetzen der Lehrevaluation in Basel mit der beschlossenen Reform des Medizinstudiums als weitgehend abgeschlossen betrachtet werden. Als Zielsetzung in der Basler Ausbildung wurde definiert, Exzellenz in Wissen (kognitive Ebene), Fertigkeiten (psychomotorische Ebene) und Haltungen (affektive Ebene) durch integrierte Themenblöcke zu erreichen, sowie

  • die Einbeziehung der Hausarztmedizin in das Curriculum,
  • die Förderung wissenschaftlich interessierter Studierender,
  • die Förderung von „life long learning“ durch Implementierung geeigneter Lehrformen und
  • eine Intensivierung des Praxisbezuges

umzusetzen.
Aus dieser Planung ist eine klare didaktische Konzeption abzuleiten:

  • die Vermittlung kognitiver Inhalte findet vornehmlich in Vorlesungen, in Problemorientierten Tutoriaten, in Seminaren und im blended learning statt,
  • die affektiven Inhalte in Kursen, im Arzt-Patienten Unterricht, im Lernen am Projekt (LaP), im Einzeltutoriat (ET), und
  • die psychomotorischen Inhalte im AP Unterricht, in Kursen, im ET, in Praktika, im skills lab und im blended learning.

Parallel zum Evaluationskonzept wurde das Prüfungskonzept auf diese Zieldefinition abgestimmt.

Zielsetzung der Evaluation des Lehrangebotes an der medizinischen Fakultät Basel ist somit die wissenschaftliche Beurteilung der Umsetzung der Reform des Medizinstudiums in ihrer Entwicklungs- und Einsatzphase. Gegenstand der Qualitätsevaluation der Entwicklungsphase ist die Frage, „ob die anzuwendenden bzw. angewendeten didaktischen Maßnahmen (Methoden, Medien) den zu vermittelnden Inhalten und der didaktischen Gesamtkonzeption [der Planung] entsprechen“ (Schenkel et.al., 2000). Darüber hinaus soll im Hinblick auf den Einsatz des didaktischen Konzeptes in den verschiedenen Veranstaltungen der Lehre die Wirkung bzgl. Akzeptanz und Motivation sowie Lernerfolg und Wissenstransfer erfasst werden.

Grundlage der Lehrevaluation bezüglich der angestrebten Qualität und der Wirkung der Veranstaltungen in Basel ist die studentische Beurteilung. Zahlreiche Untersuchungen konnten die Validität studentischer Urteile für die Unterrichtsbewertung nachweisen (siehe z.B. Felder, 1992 und Karma El-Hassan, 1995). Die studentischen Beurteilungen wurden größtenteils mittels informeller Fragebögen erhoben. Lediglich für die Beurteilung der Dozenten wurde auf eine Kurzform des standardisierten Heidelberger Inventars zur Lehrveranstaltungsevaluation zurückgegriffen (HILVE; Rindermann, 1994). Der Vorteil der informellen Befragung mit den ad hoc entwickelten Items liegt in ihrer Nähe zu den zur Frage stehenden didaktischen Konzeptvorgaben und Problemen. Dennoch wurden die Fragebögen und Items einer umfangreichen Struktur- und Itemanalyse unterzogen. Dimensionen der studentischen Beurteilung wurden extrahiert, unter testtheoretischen Gesichtspunkten analysiert, interne Konsistenzen und Interraterreliabilitäten berechnet und Itemauswahlen zur Fragebogenoptimierung getroffen. Auf diese Weise konnten für die weitere Erhebung der Veranstaltungsqualität und Wirkungsevaluation zuverlässige Beurteilungsinstrumente geschaffen werden. Darüber hinaus wurden bei der Erstellung der Fragebögen zahlreiche theoriegeleitete Hypothesen sowohl über die dimensionale Beschaffenheit des Fragebogens als auch über Zusammenhänge formuliert. Die Bestätigung genauer theoriegeleiteter Hypothesen unterstützt und bestätigt die Validität des Fragebogens und ermöglicht weiterhin nach Bungart et al (1996) die Überprüfung kausaler Zusammenhänge anhand der gefundenen Datenmuster.

Die stattfindende wiederholte Anwendung der Beurteilungsinstrumente in den aufeinander folgenden Evaluationszyklen führt zu einer stetigen Optimierung und Validierung der Evaluation und bildet gleichzeitig die Grundlage für eine fortlaufende Anpassung und Optimierung der Lehrveranstaltungen. Die Rückmeldung valider Beurteilungsergebnisse an die Lehrenden ermöglicht diesen, ihre Lehre besser nach den didaktischen und curricularen Erfordernissen auszurichten, indem es die Überprüfung gesetzter Ziele erlaubt. Weiterhin können Veranstaltungen hinsichtlich dieses Erreichungsgrades verglichen werden.

Neben der oben dargelegten quantitativen Rückmeldung ist an der Medizinischen Fakultät auch eine qualitative Rückmeldung implementiert. Da das Curriculum eine Themenblockstruktur aufweist, werden immer mit Abschluss eines Blocks, eine von den jeweiligen Jahreskursen beauftragte Kontaktgruppe, die verantwortlichen Dozierenden sowie die verantwortlichen Mitarbeiter des Studiendekanates zu einer Feedbackrunde eingeladen. Hier sind die Rückmeldungen persönlich, direkt, offen und dürfen auch subjektiv sein. Die Ergebnisprotokolle dieser Kontaktgruppensitzungen werden den verantwortlichen Themenblockleitern zur Planung des Blocks im Folgejahr nochmals vorgelegt und Verbesserungen/Veränderungen auf der Basis der studentischen Rückmeldungen eingefordert. Diese Kontaktgruppensitzungen finden seit 2002 kontinuierlich nach jedem Themenblock in den Jahreskursen 1-4 statt. Im 6. Jahreskurs findet eine solche Rückmeldestunde am Ende des Winter(Herbst)- und des Sommer (Frühlings)-Semesters statt.

Um die Evaluationslast tolerabel zu halten werden die verschiedenen Unterrichtsmethoden und Curriculare Einheiten im Basler Medizinstudium zyklisch evaluiert.

1. Zyklus (02/03)
Themenblöcke (TB): Zielüberprüfung: Sind in den curricularen Einheiten (TB) die Dimensionen Kognitiv, Affektiv, Psychomotorisch enthalten?
Sind Forschungsschwerpunkte gesetzt und ausreichender Praxisbezug vorhanden? Motivationale Wirkung.
Thementage (TT): Zielsetzung: Methodenvielfalt und integrierter, fachübergreifenden Unterricht zu einem Themenschwerpunkt mit Praxisbezügen

2. Zyklus (03/04)
Kurse: Zielüberprüfung: Exzellente Ausbildung in psychomotorischen und kommunikativen Fertigkeiten sowie Beurteilungskompetenzen.
1. Dozenten: mittels HILVE: Lehrkompetenz des Lehrkörpers
Lernen am Projekt (LaP) incl. Motivationsstudie: Zielüberprüfung:früher Patientenkontakt, Sozialisation, Teamfähigkeit, exemplarisches Lernen, intensiver Praxisbezug, Tutoren gestütztes Lernen, fachübergreifender, integrativer Ansatz. Motivationale Wirkung.
Pilot-Einzeltutoriat (ET): Zielüberprüfung: Integration der Hausarztmedizin in die Ausbildung, Erhöhung des Praxisbezugs, Vermittlung sozialer und kommunikativer Kompetenz (Pilot-Erhebung zur Validierung des Fragebogens)
OSCE-Prüfung: Examinatoren, Studierende und Simulationspatienten
Blended Learning (2.JK): Statistikveranstaltung mit BOMS, Akzeptanzstudie
Seminarleitung im Rahmen des TB KSU: Zielüberprüfung studierendenzentrierter Kleingruppenunterricht als praktischer Anteil im Themenblock Körper Subjet Umwelt (KSU)

3. Zyklus (04/05)
2. Dozenten: Fortsetzung mittels HILVE
Einzeltutoriat: Zielüberprüfung: Integration der Hausarztmedizin in die Ausbildung, Erhöhung des Praxisbezugs, Vermittlung sozialer und kommunikativer Kompetenz
OSCE-Prüfungen: Examinatoren, Studierende und Simulationspatienten von neuen Posten

4. Zyklus (05/06)
Arzt-Patienten (AP)-Unterricht: flächendeckend 3., 4. und 6. JK
Neue Kurse: Urologische Basiskompetenz 3.JK, Basic-Life-Support (BLS)
Neue Themenblöcke: Bausteine des Lebens, Baupläne des Lebens 1.JK
Lernen am Projekt (LaP): Passung für Bologna?
OSCE-Prüfungen: Examinatoren, Studierende und Simulationspatienten von neuen Posten

5. Zyklus (06/07)
1. Alumni/Absolventen-Eva
Qualitätskontrolle der Evaluation des Didaktischen Assessments

6. Zyklus (07/08)
2. Alumni/Absolventen -Eva
Themenblöcke (TB) Im 1.SJ nach der Bologna-Reform: Pilot-Online Evaluation mittels Flexiform in Zusammenarbeit mit dem URZ und Online-Feedback in Zusammenarbeit mit der Universität Mainz

7. Zyklus (08/09)
3. Alumni/Absolventen-Eva
Themenblöcke (TB) im 1.+2.SJ nach der Bologna-Reform: Online Evaluation mittels Lime/Survey in Zusammenarbeit mit dem URZ und Online-Feedback in Zusammenarbeit mit der Universität Mainz
Arzt-Patienten-Unterricht Ophtha im 6.JK

8.Zyklus (09/10)
4. Alumni/Absolventen-Eva

Themenblöcke (TB) im 2.+3.SJ nach der Bologna-Reform: Online Evaluation mittels Lime/Survey in Zusammenarbeit mit dem URZ und Online-Feedback in Zusammenarbeit mit der Universität Mainz

9.Zyklus (10/11)
5. Alumni/Absolventen-Eva
Arzt-Patienten-Unterricht Innere und Chirurgie
, 3.BA SJ + 1.MA SJ, Online-Erhebung mittels Lime-SurveyIT-Nutzung und Bedürfnisse Medizinstudierender, Online mit LimeSurvey

Qualitative Evaluationen mittels Kontaktgruppengespräche

  • Kontinuierliche Optimierung der TB durch einen formativen Ansatz seit Einführung des Reformcurriculums
  • Hot-Spots in den jeweiligen Jahreskursen
  • Erhebung der Akzeptanz des Major-Angebotes: Qualitative Befragung im LaP und den Modulen

Quantitative Evaluationen mittels Datenerhebung auf Fragebögen

  • Feststellung der Prädikatoren für die Gesamtbeurteilung bei TB-Evaluationen (02/03)
  • Veränderung der PoT-Durchführung (Abschaffung der Gruppenpräsentation an den Freitagen)
  • Änderung der PoT-Abfolge in der BrainBox auf 1 x wöchentlich
  • Feststellung, dass das Lageproblem der BrainBox auf die didaktische Methode PoT abfärbt (Info an die CK)
  • Akzeptanz der PoL-Fälle erhoben
  • Thementag-Evaluation: Feststellung des state of the art und Benchmarking für den Methodenmix
  • Feststellung der Überlastung der Studierenden im TB Nervensystem (Mai 2003)
  • Akzeptanz für die Evaluation eingeholt (SS 03 am TB FB)
  • Statistikkkurs und BOMS komplett revidiert
  • ET auf die Fakultätsziele justiert
  • Anonymes Ranking der Hilve-Ergebnisse, Einladung der unteren Rankingplätze zu einem Gespräch mit dem Dekan (Doz 04/05)
  • Optimierung Nahtkurs
  • Kompetenzbögen initiiert, weil die Evaluations-Ergebnisse generell Defizite  im Bereich der Kompetenzausbildung aufgedeckt haben (Start mit dem Soziale-Kommunikative-Ethische-Kompetenz Bogen)
  • AP-Unterricht – Grundlage für die Einforderung von Basler Standards zu Händen Jahreskursleiterein
  • OSCE-Eva: Identifizierung von Examinatorenverhalten ausserhalb der standardisierten Vorgaben, Identifizierung von Differenzen im Schwierigkeitsgrad, Feststellung der Akzeptanz des Prüfungsformates, Feststellung von Kongruenz zw. gelehrtem und geprüftem Curriculum, Identifizierung von Organisationsdefiziten (Wartezeiten, Materialien, Versand an Examinatoren, etc), Rückmeldeinstrument der Examinatoren an Postenautoren, Beurteilung der Realitätsnähe der Simpats, Feststellung des Schwierigkeitsgrades, Feststellung von Leistungsunterschieden zwischen versch. Kohorten (04/05 und 05/06).
  • Umfrage zur Vertiefungsrichtung für das künftige Bolognacurriculum (05/06)
  • Umfrage zur Majorentscheidung
  • Dozentenevaluation: HILVE-Ergebnisse: Rückmeldung mit Profil
  • Absolventenevaluation als Input für die Kontaktgruppen und um Differenzen zum Gemessenen festzustellen (seit 2006/2007)
  • Akzeptanzstudie zur Online-Plattform BLM/OLAT (Bericht Jul 2006)
  • Datenerhebung mittels Online-Evaluation (seit 2007/2008)
  • FAME-Umfrage zur Skriptenlage
  • LAP-Eva auf die Fakultätsziele justiert, Herausnahme von schlecht beurteilten Projekten aus dem Programm (seit Implementierung 2003 bis dato)
  • Berichterstattung bei neu implementierten TBs
  • AP-Ophtha auf Wunsch des scheidenden 6.JK für die nächste Generation erbeten, durchgeführt, Herrn Orgül zu Handen, Optimierung in nachfolgender Eva festgestellt (SJ 2008/2009).
  • FAME-Umfrage zur Nutzung der Medizinbibliothek
  • FAME-Umfrage-Online zur Wahl des Dozenten des Jahres

1 Themenblöcke: informeller Fragebogen, entwickelt 02/03, validiert mit den Daten 02/03, korrigiert und seit dem im Einsatz zur Evaluation von Themenblöcken. Seit HS 07/08 revidierte Online-Fassung mit LimeSurve.
Kurzbeschreibung der curricularen Einheit: Aufeinander aufbauende Organisationseinheiten des Basler Curriculums anhand von Organsystemen in denen die curriculare Zielsetzung der Vermittlung von Wissen, Fertigkeiten und Haltung zum Tragen kommt. Alle nachfolgenden didaktischen Methoden können als didaktische Elemente in den Themenblöcken bzw. parallel dazu zur Anwendung kommen.

2 Vorlesungen/Dozentenevaluation: Heidelberger Inventar zur Lehrveranstaltungsevalaution (HILVE) (Autor Rindermann): Validiert von Rindermann, Basler Fassung im Einsatz seit 03/04, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform), seit HS 07/08 revidierte Online-Fassung mit LimeSurvey.
Kurzbeschreibung der didaktischen Methode: Dozentenzentrierte Grossveranstaltung zur Vermittlung von kognitivem Wissen im Plenum.

3 Thementage: informeller Fragebogen, entwickelt 02/03, validiert mit den Daten 02/03, korrigiert und seit dem im Einsatz zur Evaluation von Thementagen, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform).
Kurzbeschreibung der didaktischen Methode: Schwerpunkt-Lehrveranstaltung mit didaktischem Methodenmix zur Vermittlung von Theorie und Praxis mittels Plenumsveranstaltungen, hands-on-Elementen und Feldübungen in Kleingruppen.

4 Kurse: informeller Fragebogen, entwickelt 03/04, validiert mit den Daten 03/04, korrigiert und seit dem im Einsatz zur Evaluation von praktischen Kursen, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform).
Kurzbeschreibung der didaktischen Methode: Gruppengrösse 8-15, mit hands-on Elementen zur Vermittlung praktischer Fertigkeiten, Einsatz elektronischer Medien und hohem Betreuerschlüssel.

5 Seminare: informeller Fragebogen, entwickelt 03/04, validiert mit den Daten 03/04, korrigiert und seit dem nicht mehr eingesetzt zur Evaluation von Seminaren, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform).
Kurzbeschreibung der didaktischen Methode: Gruppengrösse 15-30, von einem Leiter betreute, studierendenzentrierte, Lehreinheit. Vermittelt theoretisches Wissen anhand von Aufgabenstellungen. Studierendenaktivität durch Erteilung von Referatsthemen gefördert.

6 Lernen am Projekt (LaP): informeller Fragebogen, entwickelt 03/04, validiert mit den Daten 03/04, korrigiert und seit dem fortlaufend im Einsatz zur Evaluation von Projektlernen, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform).
Kurzbeschreibung der didaktischen Methode: Gruppengrösse 10-11, von einem Arzt betreute, studierendenzentrierte, tutorengestützte Lehreinheit. Vermittelt theoretisches Wissen anhand Patientenkontakt und Erkundung diverser Berufsfelder sowie Gruppensozialisation und Teambildung.
6a Motivationsstudie zur Feststellung der Leistungsmotivation: informeller Fragebogen, entwickelt 03/04, validiert mit den Daten 03/04, korrigiert und bis 05/06 fortlaufend im Einsatz zur Feststellung der Entwicklung der Leistungsmotivation im Verlauf des ersten Studienjahres unter Einfluss des LaP, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform) verabreicht zu Studienbeginn und am Ende des ersten Studienjahres. 

7 Blended learning, Statistikveranstaltung mit Weblernumgebung Basics of Medical Statistics (BOMS): informeller Fragebogen, entwickelt 03/04, validiert mit den Daten 03/04, korrigiert und wiederholte Anwendung in 04/05.
Kurzbeschreibung der didaktischen Methode: Veranstaltung mit Vorlesungscharakter, unterstützt durch ein Web-basiertes Lernprogramm und Tutoreneinsatz.

8 Arzt-Patienten-Unterricht: informeller Fragebogen, entwickelt 03/04, validiert mit den Daten 03/04 und korrigiert, flächendeckender Einsatz in 05/06, Evaluation der Basler Variante des „bedside teachings“, befragt wurden Studierende und Lehrende, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform). Neufassung im HS 2010/11 mit LimeSurvey.
Kurzbeschreibung der didaktischen Methode: Praktische Lehreinheit, Gruppengrösse 4-6, mit hands-on Elementen zur Vermittlung praktischer Fertigkeiten und Patientenkontakt, Betreuung durch Klinikärzte.

9 Einzeltutoriat (ET): informeller Fragebogen, entwickelt 03/04, validiert mit den Daten 03/04 und korrigiert, flächendeckender (3. und 4. JK) Einsatz in 05/06, Evaluation der Basler Variante des „Meister/Lehrling-Ansatzes“, Erhebung mittels elektronisch einlesbarer Fragebögen (Teleform).
Kurzbeschreibung der didaktischen Methode: Feld-Einsatz, einzelbetreutes Tutoriat in Hausarztpraxen zum Erwerb und Üben praktischer Fertigkeiten im unmittelbaren Patientenkontakt unter Aufsicht.

10 Objective structured clinical examination (OSCE): informelle Fragebögen, entwickelt 03/04, validiert mit den Daten 03/04 und korrigiert, flächendeckender (1.- 4. JK) Einsatz in 05/06, Evaluation der praktischen Prüfung mittels Befragung der Studierenden, der Prüfer und der Simulationspatienten/Statisten.
Kurzbeschreibung der Prüfungsmethode: Praktische Prüfung zur Feststellung des Beherrschungsgrades von Beurteilungskompetenzen, praktischen und kommunikativen Fertigkeiten. Postenlauf, 1:1 Verhältnis Prüfer : Prüfling, unter Einsatz von Simulationspatienten, Statisten, Phantomen und elektronischen Medien.

11 Alumni-Evaluation: informeller Fragebogen, entwickelt 05/06, validiert mit den Daten 05/06 und korrigiert, seither wiederholter Einsatz bis dato. Evaluation über die abschliessende Einschätzung der Vermittlung von Wissen, Fertigkeiten und Haltungen, Feststellung von Defiziten in der Wissensvermittlung anhand der Erfahrungen im Wahlstudienjahr (Praxisjahr im Klinikbetrieb), sowie der Tauglichkeit des 6. JK als Vorbereitung zum Staatsexamen. Befragung erfolgt per Brief nach Abschluss der letzten Staatsprüfung (Rücklauf ca. 55-70%). 

12 Didaktisches Assessment: informeller Fragebogen, entwickelt 2005, 1. Validierung mit den Daten 05/06, 2. Validierung mit den Daten von 06/07, fortlaufend korrigiert, weitere Einsätze in 07/08 geplant. Evaluation der didaktischen Fertigkeiten von Bewerbern in Berufungsverfahren.
Kurzbeschreibung: Die Kandidaten eines Symposiums werden mit einer Lehraufgabe für Kleingruppenunterricht konfrontiert, der studierendenzentriert, praxisorientiert und interaktiv gestaltet werden soll. Die teilnehmenden Studierenden (Gruppengrösse 8) beurteilen anhand des Fragebogens 11 Items und geben zwei „subjektive“ Beurteilungen ab. Die Ergebnisse werden der Berufungskommission als Hilfe zur Entscheidungsfindung vorgelegt.

Zur Akzeptanzsteigerung wurde ein externes Statistikerbüro zur Auswertung der Ergebnisse engagiert. Die Berichte sind immer zweiteilig, zunächst werden die Qualitätskontrolle des Evaluationsinstrumentes durchgeführt und dann die Ergebnisse dargestellt.
Mit Hilfe dieser Ergebnisberichte der Evaluationen wurden vielfältige und umfangreiche Veränderungen/Verbesserungen im Medizinischen Curriculum durchgesetzt. Da die statistischen Analysen, nach den neuesten Erkenntnissen der Testtheorie durchgeführt, sehr verlässliche und valide Daten liefern, haben die verantwortlichen Planer damit „hard facts“ in der Hand, die für jeden wissenschaftlich geschulten Dozierenden überzeugende Argumente darstellen. Die statistischen Analysen sind umfangreich und aufwändig, aber im Kontext einer Qualitätsanalyse der Arbeitsweisen von Wissenschaftlern in einer akademischen Institution eine Grundbedingung, um sich überhaupt Aussagen darüber erlauben zu dürfen.

Bungard, W., Holling, H. & Schultz-Gambard, J. (1996). Methoden der Arbeits- und Organisationspsychologie. Weinheim: Beltz.

Felder, R. (1992). What do they Know Anyway? Chem. Engr. Education, 26(3), p. 134-135
http://www.ncsu.edu/felder-public/Papers/Education_Papers.html#Assessment

Karma El-Hassan (1995) Students’ ratings of instruction: generalizability of findings. Studies in Educational Evaluation, 21,pp. 411-429

Rindermann, H. & Amelang, M. (1994). Das Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE). Handanweisung. Heidelberg: Asanger.

Schenkel, P., Tergan, S.-O. & Lottmann, A. (Ed.) (2000). Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Nürnberg: BN´W Bildung und Wissen