Chancen und Herausforderungen von E-Prüfungen aus technischer sowie prüfungsdidaktischer und rechtlicher Sicht waren das Thema der diesjährigen Tagung „Grundfragen Multimedialen Lehrens und Lernens – GML²“ vom 19.-20. März 2015 im Henry-Ford-Bau an der FU Berlin.
Nach einer spannenden Begehung und Live-Demonstration des E-Examination Center der FU Berlin durch Alexander Schulz wurde die Veranstaltung am Donnerstag hochkarätig von Peter Lange, dem Kanzler der FU Berlin, eröffnet. Dieser machte deutlich, dass für ihn E-Prüfungen nicht primär, die „schon in den 70er Jahren hohen Durchfallquoten senken“ können, sondern vor allem die Chance bieten, die Qualität und Effizienz von Klausuren zu steigern. Die 150 internationalen Teilnehmer/innen widmeten sich an den beiden Veranstaltungstagen den Fragen nach dem Potenzial und den unterschiedlichen Möglichkeiten, E-Klausuren für unterschiedliche Fachrichtungen zu konzipieren sowie den Grenzen, die durch vorhandene Ressourcen aber auch rechtliche Vorgaben gesetzt sind. Außerdem standen zwei Anbieter von Prüfungssoftware Rede und Antwort – LPLUS und Bildungsportal Sachsen GmbH.
(c) FU Berlin / Reinhard Görner
In seiner Keynote “Educational Advantages of Computer-based Examination“ machte Prof. Geoffrey Crisp (Royal Melbourne Institute of Technology, Australien) zunächst deutlich, welch immense Bedeutung neue Formen der Prüfung analog zu neuen Formen des Lernens haben und wünschte sich einen Paradigmenwechsel im Prüfungswesen. Prüfungen seien abstrakt gesehen ein „proxy to find out what and how students think“, daher hält er Formen des Online Assessments für wichtig, in denen Studierende nicht nur reproduzieren, sondern interaktiv mit Materialien arbeiten. Er präsentierte Beispiele aus der Praxis, in denen Studierende live Datenanalysen mittels einer Software durchführen konnten oder aus der Veterinärmedizin Rollenspiele, in denen authentische Handlungen simuliert werden können, die in letzter Konsequenz „save or kill the dog“ bedeuten. Durch E-Assessments, so sein Fazit, seien einerseits neuartige Fragestellungen möglich und andererseits könne unterschiedliches Vorgehen zu neuen Ergebnissen und damit zu einer verbesserten Prüfungsqualität führen: „use technology to do things you can´t do without technology“.
In der Session “Good Practises” wurden zwei Beispiele zur Durchführung von E-Prüfungen vorgestellt, wie sie unterschiedlicher nicht sein konnten. Rob Peregoodoff (British University of Columbia, Kanada) versetzte die Teilnehmer/innen in Staunen, als er von einer Ende Februar erfolgreich durchgeführten E-Prüfung an der Sauder Business School berichtete, in der fast 1300 Studierende ihre eigenen Geräte mitbrachten („Bring your own devices – BYOD“) und per Wireless LAN die Klausuren auf dem universitätseigenen Learning-Management-System „Blackboard“ durchgeführt hatten. Auch hier stand, ähnlich wie bei Prof. Crisp, die Idee im Vordergrund, neue Fragetypen zu entwickeln und Prüfungen auf eine neue Ebene zu bringen, in der sogar Formen der Zusammenarbeit möglich sind.
E-Examination Center der FU Berlin
Von den Erfahrungen mit dem seit 2013 bestehenden E-Examination Centers an der FU Berlin berichtete Alexander Schulz (Center für Digitale Systeme). Seit der Eröffnung wurden dort ca. 19.000 Studierende ohne nennenswerte Pannen geprüft (entspricht in etwa 180 Prüfungen). Mittels der Software LPLUS werden die Klausurfragen in das System eingespeist und die Studierenden erhalten für die Klausur einen individuellen Zugangscode für einen der 150 fest installierten PCs. Die Server betreibt das Rechenzentrum der FU, die Daten bleiben also alle in der Universität und gehen nicht an einen externen Anbieter. Die Prüfungsdaten werden nach Eingabe automatisch bzw. bei Freitext alle 30 Sekunden zwischengespeichert. Im Gegensatz zu dem Beispiel von der British University of Columbia ist das EEC technisch und auch rechtlich auf Sicherheit getrimmt. So wurden elektronische Prüfungen explizit in die Rahmenstudienprüfungsordnung (RSPO) aufgenommen, auf die jede Prüfungsordnung bei Anwendung von E-Prüfungen verweisen muss. Die Vorteile der elektronischen Prüfung sieht Schulz grundsätzlich für viele Klausurformen, als besonders effizient hat sich die Umstellung jedoch für die Geisteswissenschaften herausgestellt, da sich die Korrekturzeiten enorm verringert haben. Eine mögliche Erklärung sei, dass die am Computer verfassten Texte einfach viel besser und schneller zu lesen sind, als so manche Handschrift.
In der Session „Prüfungsdidaktik“ ging es konkret um die didaktische Ausgestaltung von Prüfungen, weitestgehend unabhängig von der Form (auf Papier oder elektronisch). In seinem Vortrag „Bulimielernen verhindern“ stellte Univ.-Prof. Dr. Michael Niedeggen (FU Berlin) seine Erfahrungen mit der Umstellung der Prüfungsform in der Psychologie auf der Basis von lernpsychologischen Erkenntnissen vor. In einem ersten Schritt wurde vor zwei Jahren die summative Klausur aufgrund der Prüfungsbelastung der Studierenden im Bachelorstudium in drei Teilprüfungen aufgeteilt, und somit eine höhere Beteiligung und bessere Leistungen möglich gemacht. Mittlerweile werden nur noch zwei Teilklausuren, aber nun in elektronischer Form im EEC, angeboten und somit für Studierende wie Lehrende ein effizientes Angebot geschaffen, welches nochmals eine höhere Beteiligung aufweist.
In der Session „Sicherheit“ am Freitagvormittag gab es zunächst einen Einblick in Prüfungsrechtliche Rahmenbedingungen für elektronische Prüfungen von Dr. Christoph Jeremias (Richter am Verwaltungsgericht Berlin). Dieser verwies zunächst auf die zwei wichtigen betroffenen Rechtspositionen des Prüflings, zum einen das Recht auf freie Berufswahl und zum anderen den Grundsatz der Chancengleichheit. Ein für ihn wegweisendes Urteil in Bezug auf elektronische Prüfungen sei das vom VG Hannover aus dem Jahr 2008 (6 B 5583/08), in dem festgestellt wird, dass die „elektronische Form der Prüfung keine Form der schriftlichen Prüfung darstellt“ und somit nicht mit dieser gleichzusetzen ist. Demnach empfiehlt er den Passus „elektronische Prüfung“ explizit in die Prüfungsordnung aufzunehmen. Weitere Besonderheiten bei elektronischen Klausuren seien die Chancengleichheit in Bezug auf die automatisierte Auswahl von Fragen (Schwierigkeitsgrad muss manuell geprüft werden) sowie die technische Ausstattung, die Informationspflicht (Prüflinge müssen sich ausführlich mit dem System vertraut machen können) sowie ein Ausgleich für Behinderungen einzelner Personen.
Tobias Halbherr und Kai Reuter von der ETH Zürich stellten in ihrem Vortrag „Kompetent und sicher: Online-Prüfungen mit Virtueller Desktop Infrastruktur und Safe Exam Browser an der ETH Zürich“ ein Praxisbeispiel für E-Prüfungen mit dem Learning-Management-System Moodle vor. An der ETH Zürich war das Ziel der Einführung von Online-Prüfungen vor allem, Prüfungen und damit zusammenhängend Lernen qualitativ zu verbessern. Die wichtigste Frage der Studierenden sei nämlich „Kommt das in der Prüfung?“ und folglich habe die Prüfungsform einen hohen Einfluss darauf, was und wie gelernt wird. Über den Safe-Exam-Browser (Moodle Plugin) können Studierende auf entsprechend vorbereitete Tests mit neuartigen Fragetypen zugreifen und so kompetenzorientiert und authentisch geprüft werden.
E-Prüfungsplatz der Uni Linz / (c) Michael Herzog
Die „Verwendung der Bürgerkarte (Digitale Signatur) für E-Assessments“ stellte anschließend Prof. Dr. Elisabeth Katzlinger-Felhofer (Johannes Kepler Universität Linz, Österreich) vor. Im Rahmen der Multimedia Studien Services SoWi wurde ein elektronischer Prüfungsraum mit 62 Plätzen (sowie zwei höhenverstellbare Tische für Rollstuhlfahrer) geschaffen. Über versenkte Bildschirme, versehen mit Sichtschutz und Kartenleser, werden PCs angesteuert, die mit Linux und Moodle laufen. Für die Signatur der Prüfungen wird die universitätseigene Kepler-Card mit Signaturfunktion ausgestattet (muss eigenständig von Studierenden aktiviert werden).
Im Rahmen der vierten Session ging es im Vortrag „Qualitätssicherung elektronischer Prüfungen mit geschlossenen Aufgabenformaten“ von Prof. Dr. Heinz-Werner Wollersheim (Universität Leipzig) um die Qualitätssicherung von ganzen Klausuren mittels allgemeiner Testtheorie (Objektivität, Reliabilität und Validität) sowie einzelnen Frageitems mittels Trennschärfekoeffizienten. Analog zum Vortrag von Halbherr und Reuter, stellte er fest, dass Prüfungen hochgradig Einfluss auf Lernverhalten haben und daher entsprechend einer Theorie des „Constructive Alignment“ detaillierte Analysen zur Kohärenz von Learning Outcomes (Lernzielen) und Assessments (Prüfung) durchgeführt werden sollten. Er nannte eine Vielzahl an Faktoren, u.a. Peer Review bei der Fragenerstellung oder Erhöhung der Anzahl der Distraktoren bei MC-Klausuren, die die Qualität von Klausuren erhöhen können und somit Prüfungen zu einem expliziten Instrument der Wissensvermittlung machen.
Die Session Prüfungssoftware wurde eingeleitet von Dieter Huth (Bergische Universität Wuppertal), der einen Vergleich der gängigen Prüfungssoftwarelösungen vornahm. Er lieferte eine Übersicht zu verschiedenen Fragetypen, Bewertungseinstellungen und Prüfungsmanagement in ILIAS, Moodle sowie LPLUS. Alle drei Systeme können Single- und Multiple-Choice-Fragen abbilden, sowie Zuordnungen, Lückentext- und Hotspotfragen, Numerische und Berechnungsfragen sowie Freitextaufgaben. Sein Fazit war, dass neben den Kosten vor allem die Bewertungseinstellungen eine Rolle bei der Auswahl der geeigneten Software für E-Klausuren spielen.
Insgesamt konnte man sich bei der exzellent organisierten GML 2015 einen umfassenden und vielfältigen Eindruck zum aktuellen Stand der technischen, didaktischen Möglichkeiten sowie rechtlichen Fragen von elektronischen Prüfungen machen. Ideal wäre es gewesen, zu spezifischen Themen parallele Tracks anzubieten, da aufgrund der engen Taktung oft detaillierte Fragen zu kurz kamen. Die internationalen Beiträge lieferten jedoch vielfältige Anregungen zur möglichen Ausgestaltung von E-Prüfungen, die wenn auch teilweise an deutschen Universitäten nicht 1:1 umsetzbar, so doch für die zukünftige Neuausrichtung von Prüfungsformen durchaus auch als Inspiration dienen. Alle Vorträge der Konferenz werden im Laufe der nächsten Woche auch als Aufzeichnung auf der Website zu finden sein.
