Open Book Prüfungen mit digitalen Unterlagen

Trotz papierlosem Unterricht finden in vielen Klassen die Prüfungen immer noch auf Papier statt. Das hat oft ganz praktische Gründe, denn je mehr Technik involviert ist desto anfälliger wird die Prüfung für Störungen und Rekurse.

Die Open Book Prüfungen, bei denen bisher ausgedruckte Unterlagen erlaubt waren, können jedoch in dieser Form mit dem papierlosen Studium nicht mehr durchgeführt werden. Die Studierenden möchten verständlicherweise ihre annotierten digitalen Unterlagen an der Prüfung nutzen und nicht alles ausdrucken müssen. Durch die Zulassung von Tablets und Notebooks an den Prüfungen steigt allerdings das Risiko des Missbrauchs und Studierende können beispielsweise zusätzliche Informationsquellen im Internet nutzen oder die Lösungen untereinander austauschen.

Prüfungen in einer vernetzten Welt

Man könnte nun hier argumentieren, dass die Möglichkeit der Vernetzung während der Prüfung für viele Berufsgruppen die realen Begebenheiten der heutigen Arbeitswelt abbilden. George Siemens würde dem im Sinne des Connectivismus sicherlich zustimmen. Seiner Meinung nach bedeutet Lernen nämlich nicht nur das Einprägen von Wissen im eigenen Gedächtnis, sondern auch das Wissen bzw. die Kompetenz, zu wissen, wie man sich bei Bedarf mit externem, spezialisiertem Wissen vernetzt.

Dieser Ansatz bedingt natürlich, dass die Prüfungsfragen eine gewisse Komplexität und Schwierigkeit aufweisen. So darf es z.B. nicht nur eine korrekte oder falsche Lösung geben. Für Multiple-Choice Prüfungen ist das Szenario folglich weniger gut geeignet. Haben bei einer Open Book Prüfung mit Essay Fragen zwei oder mehrere Studierende exakt dieselbe Lösung ist dies wahrscheinlich ein Grund, etwas genauer hinzuschauen. Trotzdem kann man bei einem solchen Szenario nie 100%ig sicherstellen, dass die Studierenden die Aufgaben selber lösen. Theoretisch können sie die Aufgaben einem Ghost Writer schicken und am Schluss dessen Lösungen abgeben.

Studierende stehen technischen Hilfsmittel kritisch gegenüber

Die letzte Evaluation im Frühjahr 2016 zeigte bei den Studierenden eine eher kritische bis ablehnende Haltung gegenüber Prüfungen mit elektronischen Hilfsmitteln. Über 50% der teilnehmenden Studierenden aus dem Bachelorstudiengang in Biotechnologie möchten nicht, dass alle Hilfsmittel, also auch das Internet, an Prüfungen erlaubt sind. Rund ¼ befürchtet, dass bei der Nutzung von Tablets und Notebooks in der Prüfung die Gefahr des Betrugs steigt und die Prüfungen als Folge nicht mehr fair sind.

Generell scheint bei den Studierenden der Wunsch nach elektronischen Prüfungen mit Tablet oder Notebook nicht sehr ausgeprägt zu sein. Das hat uns etwas überrascht, da z.B. das Schreiben mit der Tastatur für viele Studierende sicherlich angenehmer und schneller ist als das Schreiben von Hand.

Elektronische Prüfungen

Evaluation April 2016 bei Pilotklassen papierloses Studium BT13-BT15

Prüfungen mit Geräten im Flugmodus

Im Rahmen des Pilotprojektes wurden mehrere Open Book Prüfungen durchgeführt. Dabei waren Tablets und Notebooks erlaubt, sie mussten allerdings in den Flugmodus versetzt werden, so dass alle Funkverbindungen unterbunden waren. Während der Prüfung fanden Stichproben statt und Missbrauch hatte den sofortigen Ausschluss von der Prüfung zur Folge. Dieses Szenario ist allerdings nur bei kleinen Klassen, genügend Aufsichtspersonen und Räumen mit breiten Korridoren zwischen den Sitzreihen möglich. Für die Aufsichtspersonen ist es zudem teilweise schwierig zu sehen, ob auf den unterschiedlichen Geräten tatsächlich alle Funkverbindungen unterbrochen sind.

Andere Möglichkeiten wie eigene Prüfungsräume mit gemanagten Computern, Störsender, WLAN-Überwachung, lokale WLAN-Netzwerke und die Entwicklung eigener Applikationen haben wir geprüft und teils aus Kostengründen, teils aber auch wegen mangelnder Sicherheit und gesetzlicher Vorgaben verworfen.

Pilotversuche mit Safe Exam Browser

Im Frühlingssemester 2016 haben wir mit Unterstützung der E-Assessment Beauftragten der ZHAW, Lisa Messenzehl, und einem Entwickler des Safe Exam Browsers, Daniel Schneider, eine Pilotprüfung mit dem Safe Exam Browser und Moodle im Bachelorstudiengang Facility Management durchgeführt. Bei diesem Prüfungszenario wurde die Prüfung online auf Moodle mit der Lernaktivität Test durchgeführt. Die Studierenden müssten den Safe Exam Browser (SEB) auf ihrem Notebook installieren und gelangten nach dem Start des Browsers und der Eingabe eines Zugriffspassworts auf die Moodle Prüfung. Sie konnten während der Prüfung das offene Browserfenster mit der Moodle Prüfung nicht mehr verlassen und nicht auf die eigene Festplatte oder andere Ressourcen zugreifen bis die Prüfung abgeschlossen war.

Die Pilotprüfung hat soweit gut funktioniert, allerdings war die Konfiguration des SEB anspruchsvoll und die Installation des SEB auf den studentischen Geräten mit einigen Komplikationen verbunden. Der Vorbereitungs- und Betreuungsaufwand war entsprechend gross. Der SEB musste zudem nach der Prüfung auf den studentischen Geräten deinstalliert werden, da noch kein Update-Mechanismus für die Software verfügbar ist.

Grundsätzlich ist der SEB ein vielversprechendes Tool das uns mit entsprechendem Aufwand die Durchführung von elektronischen Prüfungen mit Moodle auf studentischen Geräten erlaubt. Ein Szenario mit Open Book ist darin aber zurzeit nicht vorgesehen. Zwar kann man den SEB so konfigurieren, dass einzelne Programme wie z.B. der Adobe Reader während der Prüfung zugelassen sind. Das funktioniert aber nur, wenn das freigegebene Programm bei allen Nutzern im entsprechenden, freigegebenen Verzeichnis abgelegt ist. Zudem müssen die Studierenden ihre Dokumente darin öffnen und durchsuchen können. Dieses Szenario konnten wir bis jetzt noch nicht testen.

Mit der Einführung von Office 365 Pro Plus mit OneDrive for Business besteht allenfalls die Möglichkeit, in Zukunft während der Prüfung den URL-Filter im SEB so zu konfigurieren, dass die Studierenden nebst der Moodle Prüfung auch auf ihre Unterlagen auf OneDrive for Business zugreifen können.

Die Komplexität und die Kinderkrankheiten des SEB schrecken zurzeit noch viele Dozierende an der ZHAW ab. Wir hoffen, dass die Weiterentwicklung des SEB mit dem neu gegründeten Konsortium rasch vorwärts geht und bald eine benutzerfreundliche und stabile Version mit Update-Mechanismus verfügbar ist, die auch von Dozierenden ohne grosse technische Kenntnisse konfiguriert werden kann.

Chancen sehen und Risiken managen

Bis dahin können wir unseren Dozierenden und Studierenden technisch zurzeit keine sichere Möglichkeit für Open Book Prüfungen mit digitalen Dokumenten auf Notebooks und Tablets anbieten. Wir unterstützen aber über SWITCH das Konsortium bei der Weiterentwicklung des Safe Exam Browsers.

Generell können wir in Zukunft entweder versuchen mit technischen Lösungen die Technologien so zu manipulieren, dass sie die Bedingenden von früher simulieren. Oder wir können die neuen Möglichkeiten als Change für neue Prüfungsformen sehen und versuchen Wege zu finden, um die Risiken die sie mit sich bringen zu managen.

Wir stehen auf diesem Weg noch ganz am Anfang. Einzelne Dozierende haben allerdings bereits die Idee kollaborativer Prüfungen aufgegriffen. Andere führen neu statt Open Book Prüfungen mündliche Gruppenprüfungen durch oder erlauben an der Prüfung eine  4-seitige Zusammenfassung. Wieder andere setzen auf elektronische Multiple Choice Prüfungen.

Tipp: Assessment Toolbox der Uni Bern

Eine unserer engagierten Dozentinnen, Evelyn Wolfram, hat uns am letzten E-Learning Café im September auf die Assessment Toolbox der Universität Bern aufmerksam gemacht. Schauen Sie mal rein und lassen Sie sich inspirieren, vielleicht finden Sie ja eine spannende neue Prüfungsform für Ihren Kurs.

Ressourcen

Siemens, G. (2004) Connectivism: A learning theory for the digital age. Verfügbar unter: http://www.elearnspace.org/Articles/connectivism.htm (Aufgerufen am: 22. September 2016)

Das papierlose Studium aus Sicht der Dozierenden

Auch die Dozierenden haben die ersten 10 Wochen mit der papierlosen Klasse Revue passieren lassen. Mit 8 Dozierenden haben wir uns getroffen und die vergangenen Wochen besprochen. Die übrigen Dozierenden sind herzlich eingeladen, ihre Erfahrungen hier als Kommentar mit uns zu teilen.

Dozierende schätzen die „neue Leichtigkeit des Lehrens“

Besonders gefreut hat uns, dass die Dozierenden ihre Entscheidung nicht bereuen und sie ihren Kolleginnen und Kollegen das papierlose Unterrichten weiterempfehlen würden. Sie schätzen am papierlosen Unterricht vor allem, dass sie keine Kopien mehr organisieren und mit sich herumtragen müssen. Zudem verwenden sie mehr aktuelle Inhalte und Links im Unterricht, da die Studierenden ihr Tablet immer dabei haben.

iPad nicht mit Office kompatibel – Surface Benutzeroberfläche zu klein

Mit der Wahl des Gerätes ist die Mehrheit der Dozierenden zufrieden. Ein Dozent ist vom iPad eher enttäuscht, weil die Inhalte (Office) nicht korrekt dargestellt werden und die Software, die er für den Physikunterricht benötigt, nicht verfügbar ist. Er würde neu ein Surface Pro wählen. Das Surface Pro hingegen wird einer Dozentin mit der Zeit zu schwer und zu warm und für einen ihrer Kollegen braucht die Anwendung mit dem Stift und den kleinen Icons zu viel Fingerspitzengefühl.

Einsatz der Tablets erfordert Übung

Einige Dozierende verwenden das Tablet als Ersatz für die Wandtafel und haben sich angewöhnt, direkt mit dem Stift auf das Tablet zu zeichnen. Das „digitale“ Zeichnen mussten sie jedoch zuerst üben, da es etwas gewöhnungsbedürftig ist. Ein anderer Dozent wiederum wechselt bewusst zwischen Tablet, Flip Chart und Folien ab, um verschiedene Medien einzusetzen.

Vorbereitung mit Notebook – Unterricht mit Tablets

Auffallend ist, dass die Dozierenden die Lehrveranstaltungen am Notebook vorbereiten und das Tablet erst im Unterricht einsetzen. Beim iPad überrascht dies nicht, da viele Dozierende mit PowerPoint arbeiten und die Formatierung von Office Dokumenten auf dem iPad problematisch ist. Zudem können Dokumente vom iPad nicht aufs Moodle hochgeladen werden. Das Tablet stellt eine Ergänzung und keinen Ersatz für das Notebook dar.

Aufmerksamkeit scheint nicht beeinträchtigt

Die Dozierenden konnten bis jetzt keinen negativen Effekt der Tablets auf den Unterricht beobachten. Die Studierenden scheinen, entgegen den Erwartungen, nicht mehr im Internet zu surfen als andere Klassen. Ein Dozent bewertet es als positiv, dass das iPad auf Monotasking ausgerichtet ist und man nicht gleichzeitig mehrere Fenster nebeneinander offen haben kann.

Stromanschluss und kabelloser Anschluss an die Beamer

Bei der Infrastruktur wünschen sich die Dozierenden einen kabellosen Anschluss für die Beamer, damit sie sich frei im Unterrichtsraum bewegen können. Strom- und Internetanschluss scheint in einigen Räumen und Labors ein Problem zu sein. Wünschenswert wäre zudem eine Lösung, bei der die Stromanschlüsse direkt in die Tische eingelassen sind.

WLAN und Bluetooth abschalten bei Open Book Prüfungen

Einige Dozierende möchten die Möglichkeit haben, das WLAN abzuschalten. Dies ist insbesondere im Hinblick auf die kommenden Open Book Prüfungen ein Thema, da man nicht von den Studierenden verlangen möchte, alle Unterlagen auszudrucken. Die Studierenden könnten bei fehlendem WLAN allerdings immer noch über Bluetooth Informationen austauschen oder über einen Smartphone Hotspot auf das Internet zugreifen. Die Dozierenden wollen vor allem verhindern, dass die Studierenden die Lösungen während der Prüfung untereinander austauschen können. Wir suchen deshalb dringend nach einer Lösung für die externe Kontrolle der Funkverbindungen auf dem iPad und dem Surface Pro.

Verunsicherung bei der Verwendung von urheberrechtlich geschützten Werken

Ein weiterer Punkt, der den Dozierenden zu denken gibt, ist der Umgang mit urheberrechtlich geschützten, digitalen Daten. Sie sind unsicher, ob sie urheberrechtlich geschützte Dokumente und Bilder für Lehrzwecke nutzen und ins Moodle hochladen dürfen. Auch wenn sie sich an die Copyright Vorgaben der ZHAW halten, ist damit noch nicht sichergestellt, dass auch die Studierenden die urheberrechtlich geschützten Werke korrekt verwenden und schützen.

Weiterbildung für den Einsatz von Tablets

Die Tablets wurden zwar in erster Linie angeschafft, um Papier zu sparen, sie bieten aber auch neue didaktische Möglichkeiten. Die Dozierenden sind sehr interessiert, diese Möglichkeiten kennen zu lernen und würden gerne einen Workshop zum Einsatz von Tablets im Unterricht besuchen. Bereits heute schon stehen ihnen die Workshops und Impulse der PH Zürich offen.