Evaluation papierloses Studium – Einsatz von Tablets in der Prüfungsphase

Die Tabletklasse hatte bis jetzt erst eine OpenBook Prüfung im Herbstsemester 2013, an der das Tablet erlaubt war. In dieser Prüfung gab es keine Einschränkung, was die Mitnahme von elektronischen Unterlagen anging. Lediglich das Internet durfte während der Prüfung nicht verwendet werden. Um die Funkverbindungen auf dem Tablet zu unterbrechen wurde das Gerät während der Prüfung in den Flugmodus versetzt.

Die übrigen Prüfungen wurden auf Papier durchgeführt. Es gab nebst der OpenBook Prüfung auch zwei Prüfungen, in denen Unterlagen in Form von Formelsammlungen und eigenen Zusammenfassungen erlaubt waren. Die Mehrheit der Studierenden in der Tabletklasse gab an, 11 Prüfungen in diesem Semester (FS14) zu absolvieren.

Suchfunktion erleichtert das Auffinden relevanter Inhalte

Alle Studierenden, die ein Tablet an eine Prüfung mitnehmen durften, gaben an, zur Vorbereitung PDF‘s in einer Datei zusammenzuführen. Das Markieren wichtiger Stellen in den Unterlagen scheint bei OpenBook Prüfungen mit Tablet nicht mehr so wichtig zu sein wie bei Papierprüfungen. Mit der Suchfunktion im PDF wird das Auffinden bestimmter Stellen erleichtert. Einige Lehrpersonen sehe jedoch gerade darin ein Problem: ”Studenten sind schneller durch Suchfunktion und müssen die Unterlagen weniger kennen”.

Markierungen-PruefungsunterlagenBessere Orientierung in den Unterlagen

Nicht überraschend wird die Orientierung in den Unterlagen während der Prüfung von der Tabletklasse fast ausschliesslich positiv bewertet.

OrientierungBedeutung der Unterlagen in OpenBook Prüfungen

Bei der Frage nach der Bedeutung von OpenBook Prüfungen zeigt sich, dass es für die Kontrollgruppe (BT13) deutlich wichtiger ist, Unterlagen auf Papier in die Prüfung mitnehmen zu können. Allerdings ist dieser Unterschied nicht statistisch signifikant.

Unterlagen-an-PruefungDie erlaubten Unterlagen wurden in den Prüfungen tatsächlich genutzt, allerdings bei der Kontrollgruppe BT13 ein bisschen weniger intensiv als bei der Tabletklasse.

Unterlagen-PruefungDas Mitnehmen von Unterlagen gibt Sicherheit, insbesondere in mathematischen Fächern. Mathematische Fächer werden auch auf die Frage genannt, in welchen Fächern die Studierenden sich rückblickend lieber mit Papier vorbereitet hätten.

Andere Befragte gaben an, keinen Unterschied zu finden, während wiederum andere betonten, sich in fast allen Fächern mit Papier vorbereitet zu haben. “Das Risiko, sich auf einem Tablet vorzubereiten und sich auf eine neue Methode einzustellen, würde ich bei 11 Prüfungen nicht eingehen.”

Lehrpersonen stehen Prüfungen mit Tablets kritischer gegenüber als Studierende

Auffällig ist, dass die Lehrpersonen den Einsatz von Tablets und die Gefahr des Betrugs viel kritischer einschätzen als die Studierenden. 70% der befragten Lehrpersonen gehen davon aus, dass bei der Nutzung von Tablets in der Prüfung die Gefahr des Betrugs steigt. Der Betrug kann in unerlaubten Internetrecherchen bestehen oder aber durch schnelles Chatten zwischen den Studierenden.

Tablets-Pruefung-Dozierende
Einschätzung der Lehrpersonen

Die Studierenden hingegen lehnen in der Selbsteinschätzung die Aussage, dass durch das Tablet die Versuchung zu „spicken“ grösser sei, mit einer grossen Mehrheit ab.

Betrug-mit-Tablet
Einschätzung der Studierenden

Chance für neue Prüfungsformen

Obwohl die Lehrpersonen dem Einsatz von Tablets bei Prüfungen – insbesondere mit Internetzugang – sehr kritisch gegenüber stehen, sehen einige auch gewisse Vorteile darin.
In den offenen Antworten zu dieser Frage werden z.B. neue Möglichkeiten der Aufgabenstellung gesehen, bei denen die Antworten nicht fixiert sind, was aber zu einem grösseren Korrekturaufwand führt. Andere sehen es durchaus als sinnvoll an z.B. Internetrecherchen in die Prüfung zu integriere: “Exams can take on an entirely different nature where students are participants in solving problems rather than just answering questions.” Andere hingegen bezweifeln, dass der schnelle Zugriff auf das Internet eine geeignete Möglichkeit ist, Wissen und Kompetenzen zu prüfen.

Sichere Prüfungen als technische Herausforderung

Aktuell haben wir keine Möglichkeit, die Funkverbindungen bei OpenBook Prüfungen mit Windows-Tablets und iPads sicher zu unterbinden und zu überwachen, so das ein Betrug mit Sicherheit ausgeschlossen werden kann. Der Flugmodus kann relativ einfach deaktiviert werden.

Störsender sind in der Schweiz verboten
Sowohl Studierende als auch Dozierende haben die Idee der Störsender eingebracht. Diese sind allerdings in der Schweiz verboten.

E-Assessment Software nicht für Open Book Prüfungen geeignet
Lösungen für E-Assessments mit Tablets gibt es zwar, allerdings beschränken sich diese meist auf das Arbeiten innerhalb einer bestimmten Applikation. Die Entwickler von E-Assessment Lösungen gehen jeweils davon aus, dass für die Prüfungen standardisierte und durch die Hochschule verwaltete Prüfungsgeräte genutzt werden, was bei OpenBook Prüfungen natürlich nicht der Fall ist. Im Unterschied zu einer Multiple-Choice-Prüfung benötigen die Studierenden bei einer OpenBook Prüfung Zugriff auf ihre persönlichen Notizen. Da die Studierenden das Tablet personalisiert haben – und es damit schon fast ein Personal Learning Environment darstellt – ist es wichtig, dass sie auch an der Prüfung ihr eigenes Gerät benutzen dürfen.

Lösungen entweder für Windows oder iOS
Leider berücksichtigen die von uns geprüften Applikationen jeweils nur entweder Windows oder iOS. Dadurch müssten wir zwei unterschiedliche Systeme einsetzten, was dazu führen würde, dass nicht alle Studierenden derselben Prüfungsbedingungen haben.

Mit dem Safe Exam Browser (SEB), der unter anderem an der ETH Zürich für E-Assessments an Desktop PCs eingesetzt wird, können der Zugriff auf die Festplatte, USB Sticks, das Internet und weitere Funktionen eines Windowsgerätes gesperrt werden. Der SEB läuft allerdings nicht auf iPads.

Die iPads hingegen verfügen über eine „Guided Access“ Funktion, die vor der Prüfung manuell eingeschaltet werden kann. Damit kann der Zugriff vorübergehend auf eine einzige App beschränkt werden oder die Hardware-Tasten können deaktiviert werden. Der Guided Access kann nach der Prüfung mit einem Code deaktiviert werden. Eine weitere Möglichkeit für E-Assessments mit den iPads ist iExam@Bri-C oder die von der Universität Basel entwickelte BeAXi Applikation.

Überwachung über Mobile Device Management nicht ausreichend
Die Idee, die Funkverbindungen während der Prüfung über das Mobile Device Management zu unterbrechen, hat unsere ICT-Abteilung geprüft, aber wegen zu wenig Sicherheit wieder verworfen. Mobile Device Management Systeme wie FileWave, das bei uns im Einsatz ist, können die Geräte zwar in den Flugmodus versetzten, können danach aber keine Anpassungen mehr vornehmen, weil das Gerät nicht mehr erreichbar ist.

Aktuell sieht es so aus, als müssten wir eine eigene Lösung für Open Book Prüfungen mit Tablets entwickeln. Unsere Idee ist aktuell eine Kontroll-App für iOS und Windows. Die Studierenden müssten bei Prüfungsbeginn die App starten, den Flugmodus aktivieren und während der Prüfung auf jegliche Kommunikationssysteme (WiFi, Bluetooth, IR, USB etc.) verzichten. Die App kontrolliert in kurzen Zeitabständen, ob eine Kommunikation stattfindet und erstellt ein Log-File, welches am Ende der Prüfung abgeschickt wird. Dieses Log-File wird von einer Software analysiert und die Lehrperson erhält die Ergebnisse zugeschickt.


2 Kommentare

  • Zum letzten Kapitel: Unter iOS 8 gibt es Neuerungen. Die BeAXi Applikation kann sich nun selber in den Lockmodus versetzen, ohne den Home-Button. Der Single-App-Mode kann beim Start der Applikation oder über das MDM gestartet werden. Mit dem Apple Configurator oder MDM können der Browser und Messaging deaktiviert werden, so dass der Lockmodus nicht mal notwendig wäre. So könnten zum Beispiel PDF’s auf dem gleichen Gerät abgelegt werden.

    • Hallo Herr Böhler
      Vielen Dank für das Update, das ist eine sehr gute Neuerung. Den Browser und das Messaging via Mobile Device Management zu blockieren haben wir uns auch schon überlegt. Die Rückmeldung unserer ICT war allerdings, dass eine MDM-Lösungen für OpenBook Prüfungen nicht den gewünschten Schutz bietet, da sich die Tablets mit MDM zwar in den Flugmodus versetzen lassen, das MDM danach aber selber keinen Zugriff mehr auf die Tablets hat und entsprechend nicht eingreifen kann. Wenn man aber vielleicht nur den Browser und das Messaging blockiert, könnte das MDM immer noch mit dem Gerät kommunizieren. Ich werde Ihren Input gerne aufnehmen.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert