Die Tabletklasse hatte bis jetzt erst eine OpenBook Prüfung im Herbstsemester 2013, an der das Tablet erlaubt war. In dieser Prüfung gab es keine Einschränkung, was die Mitnahme von elektronischen Unterlagen anging. Lediglich das Internet durfte während der Prüfung nicht verwendet werden. Um die Funkverbindungen auf dem Tablet zu unterbrechen wurde das Gerät während der Prüfung in den Flugmodus versetzt.

Die übrigen Prüfungen wurden auf Papier durchgeführt. Es gab nebst der OpenBook Prüfung auch zwei Prüfungen, in denen Unterlagen in Form von Formelsammlungen und eigenen Zusammenfassungen erlaubt waren. Die Mehrheit der Studierenden in der Tabletklasse gab an, 11 Prüfungen in diesem Semester (FS14) zu absolvieren.

Suchfunktion erleichtert das Auffinden relevanter Inhalte

Alle Studierenden, die ein Tablet an eine Prüfung mitnehmen durften, gaben an, zur Vorbereitung PDF‘s in einer Datei zusammenzuführen. Das Markieren wichtiger Stellen in den Unterlagen scheint bei OpenBook Prüfungen mit Tablet nicht mehr so wichtig zu sein wie bei Papierprüfungen. Mit der Suchfunktion im PDF wird das Auffinden bestimmter Stellen erleichtert. Einige Lehrpersonen sehe jedoch gerade darin ein Problem: ”Studenten sind schneller durch Suchfunktion und müssen die Unterlagen weniger kennen”.

Bessere Orientierung in den Unterlagen

Nicht überraschend wird die Orientierung in den Unterlagen während der Prüfung von der Tabletklasse fast ausschliesslich positiv bewertet.

Bedeutung der Unterlagen in OpenBook Prüfungen

Bei der Frage nach der Bedeutung von OpenBook Prüfungen zeigt sich, dass es für die Kontrollgruppe (BT13) deutlich wichtiger ist, Unterlagen auf Papier in die Prüfung mitnehmen zu können. Allerdings ist dieser Unterschied nicht statistisch signifikant.

Die erlaubten Unterlagen wurden in den Prüfungen tatsächlich genutzt, allerdings bei der Kontrollgruppe BT13 ein bisschen weniger intensiv als bei der Tabletklasse.

Das Mitnehmen von Unterlagen gibt Sicherheit, insbesondere in mathematischen Fächern. Mathematische Fächer werden auch auf die Frage genannt, in welchen Fächern die Studierenden sich rückblickend lieber mit Papier vorbereitet hätten.

Andere Befragte gaben an, keinen Unterschied zu finden, während wiederum andere betonten, sich in fast allen Fächern mit Papier vorbereitet zu haben. “Das Risiko, sich auf einem Tablet vorzubereiten und sich auf eine neue Methode einzustellen, würde ich bei 11 Prüfungen nicht eingehen.”

Lehrpersonen stehen Prüfungen mit Tablets kritischer gegenüber als Studierende

Auffällig ist, dass die Lehrpersonen den Einsatz von Tablets und die Gefahr des Betrugs viel kritischer einschätzen als die Studierenden. 70% der befragten Lehrpersonen gehen davon aus, dass bei der Nutzung von Tablets in der Prüfung die Gefahr des Betrugs steigt. Der Betrug kann in unerlaubten Internetrecherchen bestehen oder aber durch schnelles Chatten zwischen den Studierenden.

Die Studierenden hingegen lehnen in der Selbsteinschätzung die Aussage, dass durch das Tablet die Versuchung zu „spicken“ grösser sei, mit einer grossen Mehrheit ab.

Chance für neue Prüfungsformen

Obwohl die Lehrpersonen dem Einsatz von Tablets bei Prüfungen – insbesondere mit Internetzugang – sehr kritisch gegenüber stehen, sehen einige auch gewisse Vorteile darin.
In den offenen Antworten zu dieser Frage werden z.B. neue Möglichkeiten der Aufgabenstellung gesehen, bei denen die Antworten nicht fixiert sind, was aber zu einem grösseren Korrekturaufwand führt. Andere sehen es durchaus als sinnvoll an z.B. Internetrecherchen in die Prüfung zu integriere: “Exams can take on an entirely different nature where students are participants in solving problems rather than just answering questions.” Andere hingegen bezweifeln, dass der schnelle Zugriff auf das Internet eine geeignete Möglichkeit ist, Wissen und Kompetenzen zu prüfen.

Sichere Prüfungen als technische Herausforderung

Aktuell haben wir keine Möglichkeit, die Funkverbindungen bei OpenBook Prüfungen mit Windows-Tablets und iPads sicher zu unterbinden und zu überwachen, so das ein Betrug mit Sicherheit ausgeschlossen werden kann. Der Flugmodus kann relativ einfach deaktiviert werden.

Störsender sind in der Schweiz verboten
Sowohl Studierende als auch Dozierende haben die Idee der Störsender eingebracht. Diese sind allerdings in der Schweiz verboten.

E-Assessment Software nicht für Open Book Prüfungen geeignet
Lösungen für E-Assessments mit Tablets gibt es zwar, allerdings beschränken sich diese meist auf das Arbeiten innerhalb einer bestimmten Applikation. Die Entwickler von E-Assessment Lösungen gehen jeweils davon aus, dass für die Prüfungen standardisierte und durch die Hochschule verwaltete Prüfungsgeräte genutzt werden, was bei OpenBook Prüfungen natürlich nicht der Fall ist. Im Unterschied zu einer Multiple-Choice-Prüfung benötigen die Studierenden bei einer OpenBook Prüfung Zugriff auf ihre persönlichen Notizen. Da die Studierenden das Tablet personalisiert haben – und es damit schon fast ein Personal Learning Environment darstellt – ist es wichtig, dass sie auch an der Prüfung ihr eigenes Gerät benutzen dürfen.

Lösungen entweder für Windows oder iOS
Leider berücksichtigen die von uns geprüften Applikationen jeweils nur entweder Windows oder iOS. Dadurch müssten wir zwei unterschiedliche Systeme einsetzten, was dazu führen würde, dass nicht alle Studierenden derselben Prüfungsbedingungen haben.

Mit dem Safe Exam Browser (SEB), der unter anderem an der ETH Zürich für E-Assessments an Desktop PCs eingesetzt wird, können der Zugriff auf die Festplatte, USB Sticks, das Internet und weitere Funktionen eines Windowsgerätes gesperrt werden. Der SEB läuft allerdings nicht auf iPads.

Die iPads hingegen verfügen über eine „Guided Access“ Funktion, die vor der Prüfung manuell eingeschaltet werden kann. Damit kann der Zugriff vorübergehend auf eine einzige App beschränkt werden oder die Hardware-Tasten können deaktiviert werden. Der Guided Access kann nach der Prüfung mit einem Code deaktiviert werden. Eine weitere Möglichkeit für E-Assessments mit den iPads ist iExam@Bri-C oder die von der Universität Basel entwickelte BeAXi Applikation.

Überwachung über Mobile Device Management nicht ausreichend
Die Idee, die Funkverbindungen während der Prüfung über das Mobile Device Management zu unterbrechen, hat unsere ICT-Abteilung geprüft, aber wegen zu wenig Sicherheit wieder verworfen. Mobile Device Management Systeme wie FileWave, das bei uns im Einsatz ist, können die Geräte zwar in den Flugmodus versetzten, können danach aber keine Anpassungen mehr vornehmen, weil das Gerät nicht mehr erreichbar ist.

Aktuell sieht es so aus, als müssten wir eine eigene Lösung für Open Book Prüfungen mit Tablets entwickeln. Unsere Idee ist aktuell eine Kontroll-App für iOS und Windows. Die Studierenden müssten bei Prüfungsbeginn die App starten, den Flugmodus aktivieren und während der Prüfung auf jegliche Kommunikationssysteme (WiFi, Bluetooth, IR, USB etc.) verzichten. Die App kontrolliert in kurzen Zeitabständen, ob eine Kommunikation stattfindet und erstellt ein Log-File, welches am Ende der Prüfung abgeschickt wird. Dieses Log-File wird von einer Software analysiert und die Lehrperson erhält die Ergebnisse zugeschickt.