Trotz papierlosem Unterricht finden in vielen Klassen die Prüfungen immer noch auf Papier statt. Das hat oft ganz praktische Gründe, denn je mehr Technik involviert ist desto anfälliger wird die Prüfung für Störungen und Rekurse.

Die Open Book Prüfungen, bei denen bisher ausgedruckte Unterlagen erlaubt waren, können jedoch in dieser Form mit dem papierlosen Studium nicht mehr durchgeführt werden. Die Studierenden möchten verständlicherweise ihre annotierten digitalen Unterlagen an der Prüfung nutzen und nicht alles ausdrucken müssen. Durch die Zulassung von Tablets und Notebooks an den Prüfungen steigt allerdings das Risiko des Missbrauchs und Studierende können beispielsweise zusätzliche Informationsquellen im Internet nutzen oder die Lösungen untereinander austauschen.

Prüfungen in einer vernetzten Welt

Man könnte nun hier argumentieren, dass die Möglichkeit der Vernetzung während der Prüfung für viele Berufsgruppen die realen Begebenheiten der heutigen Arbeitswelt abbilden. George Siemens würde dem im Sinne des Connectivismus sicherlich zustimmen. Seiner Meinung nach bedeutet Lernen nämlich nicht nur das Einprägen von Wissen im eigenen Gedächtnis, sondern auch das Wissen bzw. die Kompetenz, zu wissen, wie man sich bei Bedarf mit externem, spezialisiertem Wissen vernetzt.

Dieser Ansatz bedingt natürlich, dass die Prüfungsfragen eine gewisse Komplexität und Schwierigkeit aufweisen. So darf es z.B. nicht nur eine korrekte oder falsche Lösung geben. Für Multiple-Choice Prüfungen ist das Szenario folglich weniger gut geeignet. Haben bei einer Open Book Prüfung mit Essay Fragen zwei oder mehrere Studierende exakt dieselbe Lösung ist dies wahrscheinlich ein Grund, etwas genauer hinzuschauen. Trotzdem kann man bei einem solchen Szenario nie 100%ig sicherstellen, dass die Studierenden die Aufgaben selber lösen. Theoretisch können sie die Aufgaben einem Ghost Writer schicken und am Schluss dessen Lösungen abgeben.

Studierende stehen technischen Hilfsmittel kritisch gegenüber

Die letzte Evaluation im Frühjahr 2016 zeigte bei den Studierenden eine eher kritische bis ablehnende Haltung gegenüber Prüfungen mit elektronischen Hilfsmitteln. Über 50% der teilnehmenden Studierenden aus dem Bachelorstudiengang in Biotechnologie möchten nicht, dass alle Hilfsmittel, also auch das Internet, an Prüfungen erlaubt sind. Rund ¼ befürchtet, dass bei der Nutzung von Tablets und Notebooks in der Prüfung die Gefahr des Betrugs steigt und die Prüfungen als Folge nicht mehr fair sind.

Generell scheint bei den Studierenden der Wunsch nach elektronischen Prüfungen mit Tablet oder Notebook nicht sehr ausgeprägt zu sein. Das hat uns etwas überrascht, da z.B. das Schreiben mit der Tastatur für viele Studierende sicherlich angenehmer und schneller ist als das Schreiben von Hand.

Prüfungen mit Geräten im Flugmodus

Im Rahmen des Pilotprojektes wurden mehrere Open Book Prüfungen durchgeführt. Dabei waren Tablets und Notebooks erlaubt, sie mussten allerdings in den Flugmodus versetzt werden, so dass alle Funkverbindungen unterbunden waren. Während der Prüfung fanden Stichproben statt und Missbrauch hatte den sofortigen Ausschluss von der Prüfung zur Folge. Dieses Szenario ist allerdings nur bei kleinen Klassen, genügend Aufsichtspersonen und Räumen mit breiten Korridoren zwischen den Sitzreihen möglich. Für die Aufsichtspersonen ist es zudem teilweise schwierig zu sehen, ob auf den unterschiedlichen Geräten tatsächlich alle Funkverbindungen unterbrochen sind.

Andere Möglichkeiten wie eigene Prüfungsräume mit gemanagten Computern, Störsender, WLAN-Überwachung, lokale WLAN-Netzwerke und die Entwicklung eigener Applikationen haben wir geprüft und teils aus Kostengründen, teils aber auch wegen mangelnder Sicherheit und gesetzlicher Vorgaben verworfen.

Pilotversuche mit Safe Exam Browser

Im Frühlingssemester 2016 haben wir mit Unterstützung der E-Assessment Beauftragten der ZHAW, Lisa Messenzehl, und einem Entwickler des Safe Exam Browsers, Daniel Schneider, eine Pilotprüfung mit dem Safe Exam Browser und Moodle im Bachelorstudiengang Facility Management durchgeführt. Bei diesem Prüfungszenario wurde die Prüfung online auf Moodle mit der Lernaktivität Test durchgeführt. Die Studierenden müssten den Safe Exam Browser (SEB) auf ihrem Notebook installieren und gelangten nach dem Start des Browsers und der Eingabe eines Zugriffspassworts auf die Moodle Prüfung. Sie konnten während der Prüfung das offene Browserfenster mit der Moodle Prüfung nicht mehr verlassen und nicht auf die eigene Festplatte oder andere Ressourcen zugreifen bis die Prüfung abgeschlossen war.

Die Pilotprüfung hat soweit gut funktioniert, allerdings war die Konfiguration des SEB anspruchsvoll und die Installation des SEB auf den studentischen Geräten mit einigen Komplikationen verbunden. Der Vorbereitungs- und Betreuungsaufwand war entsprechend gross. Der SEB musste zudem nach der Prüfung auf den studentischen Geräten deinstalliert werden, da noch kein Update-Mechanismus für die Software verfügbar ist.

Grundsätzlich ist der SEB ein vielversprechendes Tool das uns mit entsprechendem Aufwand die Durchführung von elektronischen Prüfungen mit Moodle auf studentischen Geräten erlaubt. Ein Szenario mit Open Book ist darin aber zurzeit nicht vorgesehen. Zwar kann man den SEB so konfigurieren, dass einzelne Programme wie z.B. der Adobe Reader während der Prüfung zugelassen sind. Das funktioniert aber nur, wenn das freigegebene Programm bei allen Nutzern im entsprechenden, freigegebenen Verzeichnis abgelegt ist. Zudem müssen die Studierenden ihre Dokumente darin öffnen und durchsuchen können. Dieses Szenario konnten wir bis jetzt noch nicht testen.

Mit der Einführung von Office 365 Pro Plus mit OneDrive for Business besteht allenfalls die Möglichkeit, in Zukunft während der Prüfung den URL-Filter im SEB so zu konfigurieren, dass die Studierenden nebst der Moodle Prüfung auch auf ihre Unterlagen auf OneDrive for Business zugreifen können.

Die Komplexität und die Kinderkrankheiten des SEB schrecken zurzeit noch viele Dozierende an der ZHAW ab. Wir hoffen, dass die Weiterentwicklung des SEB mit dem neu gegründeten Konsortium rasch vorwärts geht und bald eine benutzerfreundliche und stabile Version mit Update-Mechanismus verfügbar ist, die auch von Dozierenden ohne grosse technische Kenntnisse konfiguriert werden kann.

Chancen sehen und Risiken managen

Bis dahin können wir unseren Dozierenden und Studierenden technisch zurzeit keine sichere Möglichkeit für Open Book Prüfungen mit digitalen Dokumenten auf Notebooks und Tablets anbieten. Wir unterstützen aber über SWITCH das Konsortium bei der Weiterentwicklung des Safe Exam Browsers.

Generell können wir in Zukunft entweder versuchen mit technischen Lösungen die Technologien so zu manipulieren, dass sie die Bedingenden von früher simulieren. Oder wir können die neuen Möglichkeiten als Change für neue Prüfungsformen sehen und versuchen Wege zu finden, um die Risiken die sie mit sich bringen zu managen.

Wir stehen auf diesem Weg noch ganz am Anfang. Einzelne Dozierende haben allerdings bereits die Idee kollaborativer Prüfungen aufgegriffen. Andere führen neu statt Open Book Prüfungen mündliche Gruppenprüfungen durch oder erlauben an der Prüfung eine  4-seitige Zusammenfassung. Wieder andere setzen auf elektronische Multiple Choice Prüfungen.

Tipp: Assessment Toolbox der Uni Bern

Eine unserer engagierten Dozentinnen, Evelyn Wolfram, hat uns am letzten E-Learning Café im September auf die Assessment Toolbox der Universität Bern aufmerksam gemacht. Schauen Sie mal rein und lassen Sie sich inspirieren, vielleicht finden Sie ja eine spannende neue Prüfungsform für Ihren Kurs.

Ressourcen

Siemens, G. (2004) Connectivism: A learning theory for the digital age. Verfügbar unter: http://www.elearnspace.org/Articles/connectivism.htm (Aufgerufen am: 22. September 2016)