Gastbeitrag von Judith Kreuter (Institut für Politikwissenschaft, Lehrstuhl Internationale Beziehungen)
Bild von „stevepb“ auf pixabay.com; CC 0 Lizenz (auf Bild klicken, um Quelle anzuzeigen)
Klausuren scannen und automatisiert auswerten lassen – das kann für Lehrende nach einem wahrgewordenen Traum klingen. Am Lehrstuhl für Internationale Beziehungen haben wir das Werkzeug der Scanklausur mit der Software EvaExam in vier Durchläufen ausprobiert und teilen hier unsere Erfahrungen.
Unsere drei wichtigsten Eindrücke sind die folgenden:
- Die Scanklausur kann den Arbeitsaufwand bei der Klausurerstellung und -korrektur reduzieren, insbesondere bei repetitiven und fehleranfälligen Aufgaben wie dem Zusammenrechnen von Punktzahlen. Allerdings müssen sich Lehrende und Studierende vorher an die technischen Anforderungen des Scansystems anpassen.
- Die Scanklausur ermöglicht mit relativ geringem Aufwand die statistische Auswertung nicht nur der Klausurergebnisse, sondern auch der Qualität der Klausurfragen hinsichtlich bestimmter Kriterien. Diese sollten jedoch immer dahingehend überprüft werden, ob sie für die eigene Klausur geeignet sind.
- Der Zeitgewinn kann für die wichtigste Aufgabe des/der Lehrenden bei der Prüfungsform Klausur genutzt werden: das Entwickeln und Weiterentwickeln guter Klausurfragen.
Im Folgenden gehen wir auf diese drei Punkte weiter ein.
1. Zeit gewinnen und neue Herausforderungen bewältigen
Um zu verstehen, wie durch die Scanklausur Zeitaufwand reduziert werden kann, an welchen Stellen im Ablauf jedoch neue Herausforderungen zu bewältigen sind, zeichnen wir zunächst nach, wie die Durchführung unserer Scanklausur abgelaufen ist. Die Scanklausur kann in der Online-Maske von EvaExam aus unterschiedlichen Fragetypen zusammengebaut werden. Multiple-Choice-Fragen werden inklusive aller möglichen Antworten sowie der Bewertung jeder Antwort (richtig/falsch) und der Anzahl der richtigen Antworten direkt in das System eingegeben. Die Studierenden setzen ihre Kreuze bei der Bearbeitung der Klausur selbst. Offene Fragen stellen keine Antwortmöglichkeiten zur Auswahl. Stattdessen verfasst der/die Studierende als Antwort auf die Frage einen kurzen Text. Diese Antworten werden anschließend durch den/die Lehrende/n inhaltlich bewertet und das Ergebnis der Bewertung im davor vorgesehenen Punktefeld angekreuzt. Nach Abschluss der Korrektur der Offenen Fragen durch den/die Lehrende/n werden alle Klausurbögen gescannt. Die Scan-Software erkennt die gekreuzten Antworten, gleicht die Antworten auf die Multiple-Choice-Fragen mit den zuvor eingegebenen Werten ab und rechnet die Punkte für Multiple-Choice- und Offene Fragen zusammen. Über mehrere Durchläufe kann über das System eine Fragenbibliothek zusammengestellt werden, aus dem dann zur nächsten Klausur neue Klausurbögen erstellt werden können – je nach Bedarf unter Einbezug neuer Klausurfragen.
Allerdings reduziert die Scanklausur nicht automatisch, von der ersten Nutzung an, den Zeitaufwand. Stattdessen setzt der Zeitgewinn erst nach ersten Erfahrungen dieses Werkzeugs zur Leistungsabfrage ein. Ein Faktor, der zunächst der Gewöhnung bedarf, sind die besonderen Anforderungen der technischen Systeme, die wir uns zunutze machen, wenn wir Scanklausuren anstelle konventioneller Klausuren anbieten: Denn schließlich sind es nicht mehr Menschen, die Multiple-Choice-Antworten auswerten oder Punkte addieren, sondern technische Systeme, die ganz eigene Anforderungen an Inputs stellen, um die gewünschten Outputs zu produzieren. So hat sich in unseren vier Durchläufen gezeigt, dass der Prozess der technischen Klausurerstellung auf der Online-Plattform sehr lange dauern kann, auch wenn die Klausurfragen bereits inhaltlich komplett ausformuliert und mit Antwortoptionen versehen worden sind. Dies liegt u.a. darin begründet, dass jede einzelne Frage händisch in die Online-Maske eingetragen werden und kategorisiert werden muss. Mit steigender Erfahrung im Umgang mit der Online-Maske sinkt hier der Zeitaufwand beträchtlich. Auch so simpel wirkende Schritte wie der Druck der Klausurbögen ist zu beachten: Das Druckbild jedes Klausurbogens muss akkurat sein, da es bei Verschiebungen oder Druckfehlern später Probleme in der Erkennung der Klausurbögen geben kann. Beim Transport der Klausurblätter dürfen die Ecken der einzelnen Bögen nicht knicken. Dies würde Mehraufwand beim Scannen verursachen.
Das Ankreuzen von Antwort- bzw. Bewertungsoptionen stellt sowohl an Studierende als auch an korrigierende Lehrende bestimmte Anforderungen, damit die Kreuze durch den Scanner lesbar sind: Hellere Stiftfarben als schwarz oder dunkelblau sind für das System meist nicht eindeutig zu erkennen. Kreuze, die leicht außerhalb des zu kreuzenden Kästchens liegen, sind ebenfalls nicht zuzuordnen. Jeder einzelne Fall – also jede einzelne, nicht eindeutig auszulesende Antwort – muss im Anschluss durch den/die Lehrende/n in der Verifikationsphase händisch überprüft werden. Das bedeutet, dass jeder Klausurbogen, auf dem eine uneindeutige Kreuzung gemacht wurde, einzeln eingesehen und bewertet werden muss. Bei einer Klausur mit Dutzenden von Fragen, die von mehreren Hundert Studierenden beantwortet werden, können sich solche Fälle schnell potenzieren und einen hohen zusätzlichen Zeitaufwand für den/die Lehrende/n bedeuten.
2. Qualität überprüfen durch statistische Auswertung
EvaExam bietet nach Abschluss der Klausurkorrektur nicht nur die erzielten Punktezahlen und Noten der Studierenden an: Darüber hinaus wird durch Messinstrumente wie „Trennschärfe“ und „Schwierigkeitsgrad“ die Qualität jeder einzelnen Klausurfrage hinsichtlich der im System angelegten Kriterien nachvollziehbar. Je mehr Teilnehmer/innen die Klausur absolvieren, desto robuster sind die Werte. Die Trennschärfe gibt an, wie gut die einzelne Frage abbildet, wie die Teilnehmer/innen der Klausur bezüglich der restlichen Fragen abgeschnitten haben. Das bedeutet, hierzu wird die Leistung jedes/jeder Studierenden bei der vorliegenden Frage in Bezug gesetzt zu der Leistung desselben/derselben Studierenden bei allen anderen Fragen in der Klausur. Ein hoher Trennschärfewert zeigt an, dass die Frage gut trennen kann, ob ein/e Studierende/r insgesamt in der Klausur gut oder schlecht abgeschnitten hat. Die Schwierigkeit gibt an, mit welcher Wahrscheinlichkeit eine Klausurfrage von den Teilnehmer/innen richtig gelöst wird. Das heißt, dass das erzielte Ergebnis des/der einzelnen Studierenden in Bezug gesetzt wird zu den Ergebnissen anderer Studierender bei derselben Frage. Dadurch konnten wir bereits im zweiten Durchlauf der Scanklausur die Qualität unserer Klausurfragen kritisch reflektieren und, wo wir dies für sinnvoll erachteten, nachsteuern.
Wichtig ist hierbei natürlich, den kritischen Blick nicht nur auf die Ergebnisse der Qualitätsmessung, sondern auch auf die Instrumente selbst zu legen. So ist es für jede/n Lehrende/n wichtig zu hinterfragen, inwiefern die beiden angelegten Messinstrumente für die eigene Klausur geeignet sind und ob ihnen Kriterien zugrunde liegen, die für die Qualitätsbewertung der Klausur als sinnvoll erachtet werden.
3. Mehr Zeit für das Wichtige: Gute Klausurfragen entwickeln
Die Automatisierung einzelner Arbeitsschritte, die durch die Scanklausur im Vergleich zur konventionellen Klausur geleistet wird – wie die Auswertung der Antworten auf Multiple-Choice-Fragen oder das Zusammenrechnen von erzielten Punkten – stellt in unserer Erfahrung nach ersten Probeläufen einen Zeitgewinn dar. Darüber hinaus kann durch die statistische Auswertung die Qualität der Klausurfragen empirisch überprüft werden. Der Zeitgewinn kann entsprechend eingesetzt werden, um der wichtigsten Aufgabe des/der Lehrenden bei der Prüfungsform Klausur mehr Zeit einzuräumen: dem Entwickeln guter Klausurfragen. Denn indem die Studierenden die Klausurfragen beantworten, wollen wir sichtbar und nachvollziehbar machen, in welchem Grad jede/r Studierende die Lernziele der Veranstaltung erreicht hat. Darüber hinaus wollen wir dies aber nicht nur individuell für jede/n Studierenden sehen, sondern Vergleichbarkeit der Leistungen der einzelnen Studierenden schaffen. Mit dieser doppelten Herausforderung kann umso besser umgegangen werden, je besser die Klausurfragen konzipiert sind. Dies kann geschehen in Abstimmung mit den Lernzielen der Lehrveranstaltung, aber eben auch hinsichtlich Kriterien wie der Trennschärfe und der Verteilung von Schwierigkeitsgraden in der Klausur.
Fazit
Die Scanklausur ist keine Universallösung für alle Herausforderungen bei der Konzeption und Korrektur einer Klausur. Die Nutzung dieses Werkzeugs macht eine Klausur natürlich nicht automatisch perfekt darin, die Leistungen der Studierenden abzubilden, oder ihre Vor- und Nachbereitung weniger zeitaufwändig. Das Werkzeug kann aber, wenn es reflektiert genutzt wird, durchaus Zeitgewinne ermöglichen, die wiederum genutzt werden können, um die Klausur stetig weiterzuentwickeln und zu verbessern.
