Im November 2022 wurde der Chatbot ChatGPT veröffentlicht und der breiten Masse zur Verfügung gestellt. Kurz darauf stellten sich Bildungseinrichtungen die Frage: Wie nutzen Studierende dieses oder ähnliche KI-Tools? Ein interdisziplinäres Team der ZHAW führte gemeinsam mit dem Kompetenzzentrum für generative künstliche Intelligenz (KI), dem Zentrum für Innovative Didaktik und der Abteilung Lehre der School of Engineering im Juli 2023 eine Pilotstudie dazu an der ZHAW durch.
Ein Beitrag von Johanna Seiwald, Karin Jakob Grob, Mark Cieliebak und Christian Rapp
Das Ziel der Umfrage war eine erste Analyse der Nutzung von KI-Systemen von Studierenden an der ZHAW, bald nach dem Aufkommen von ChatGPT. Der Fokus dieser Studie lag auf Studierenden, die ihre Bachelorarbeit im Studienjahr 2022/2023 begonnen haben. Die nicht-repräsentative Pilotstudie untersuchte, in welchem Umfang die Studierenden KI-Tools bei der Bachelorarbeit einsetzten, wozu die Tools genutzt wurden, welche Erfahrungen damit gemacht wurden und, falls keine KI-Tools verwendet wurden, was die Gründe dafür waren.
Insgesamt 284 Studierende der Departemente Gesundheit, Angewandte Psychologie, School of Engineering und School of Management and Law nahmen an der Studie teil und beantworteten den Fragebogen. Es handelt sich um eine Pilotstudie mit entsprechenden Limitationen. Die Ergebnisse sind eine Momentaufnahme und mit der nötigen Vorsicht zu geniessen. Generalisierungen sind zu vermeiden.
Die Nutzung von KI-Tools in Zahlen
Die Ergebnisse zeigen, dass etwa 67% der teilnehmenden Studierenden KI-Tools, vor allem ChatGPT (zu rund 93%) und DeepL (rund 45%), im Rahmen der Erstellung ihrer Bachelorarbeit verwendet haben. Die prozentuale Verteilung der Nutzung pro Departement zeigt eine ähnlich häufige Nutzung in den Departementen Angewandte Psychologie (P), School of Engineering (T) und School of Management and Law (W), während im Departement Gesundheit (G) KI-Tools weniger oft genutzt wurden.
Grafik 1: Prozentuale Verteilung der Nutzung pro Departement
Gründe für die Nicht-Nutzung
Am häufigsten mit rund 31% begründeten die Teilnehmenden die Nicht-Nutzung mit der fehlenden Nützlichkeit der KI-Tools. Rund 28% gaben an, dass sie KI-Tools im Rahmen ihrer Bachelorarbeit nicht verwenden durften. Als weitere Gründe für eine Nichtnutzung wurden mit jeweils rund 11% Datenschutzprobleme und Unwissen, wie KI-Tools zu gebrauchen sind, genannt. Im freien Antwortfeld wurden Probleme mit der Qualität des KI-Outputs aufgeführt, rechtliche bzw. ethische Probleme genannt oder keine Notwendigkeit für den Einsatz gesehen.
Grafik 2: Antworten auf die Frage «Warum haben Sie keine KI-Tools genutzt?»
Wofür sind KI-Tools nützlich?
Die Teilnehmenden bewerteten die KI am positivsten hinsichtlich der sprachlichen Unterstützung, wie z.B. Rechtschreibung, Grammatik, Stil, Formulierung, Kürzen und Paraphrasieren von Texten. Die KI-Tools halfen ausserdem bei kreativen Aufgaben wie Ideenfindung und Brainstorming, bei der Recherche, der Überprüfung von Text und Codes, bei Übersetzungen, der Strukturierung der Bachelorarbeit und dem Erlernen neuer Fähigkeiten. Die Teilnehmenden empfanden die Bedienbarkeit der Tools überwiegend als einfach, und 71% der Teilnehmenden verknüpften mit dem Einsatz von KI-Tools eine Zeitersparnis.
Als negativer Aspekt wurden am häufigsten die Falschangaben/Halluzinationen der KI genannt, die zwar plausibel klingen aber fehlerhaft oder falsch sind. Weiters wurden Effizienzprobleme bei der Nutzung von KI erwähnt – insbesondere durch die notwendige Überprüfung bzw. Überarbeitung und Einarbeitung des generierten Materials. Einige Teilnehmende nahmen auch Bezug auf rechtliche und ethische Probleme, technische Probleme (Zeichenbeschränkung, Überlastung von Servern) und die eigene fehlende Bedienkompetenz betreffend Fragenformulierung. Als wenig nützlich wurden KI-Tools bei der Literaturrecherche angesehen, was darauf zurückzuführen ist, dass zu diesem Zeitpunkt die meistgenutzten Tools nicht dafür konzipiert waren (siehe Blogbeitrag “Wenn nicht mit ChatGPT, wie dann?” der ZHAW-Bibliothek).
Umgang mit KI an der ZHAW
An der ZHAW trat am 1. April 2023, gegen Ende der Bachelorarbeitsphase, eine Richtlinie zum Umgang mit künstlicher Intelligenz bei Leistungsnachweisen in Kraft. Für schriftliche Arbeiten wurde festgehalten, dass es eine Deklarationspflicht für generative KI-Systeme gibt, welche die Qualität einer Arbeit auf inhaltlicher Ebene beeinflussen können. In der Studie gaben etwa 50% der Teilnehmenden an, dass die Regeln für den Umgang mit KI in der Bachelorarbeit eher oder vollständig klar seien. Aber nur 22% wussten, wie der Einsatz von KI-Tools richtig deklariert werden sollte. Es wurde jedoch nicht abgefragt ob, und ggf. zu welchem Zeitpunkt, die Regeln der Richtlinie den Studierenden bekannt waren. Nur 37% haben alle genutzten KI-Tools angegeben. Letztere Zahl relativiert sich bei einem Blick auf die qualitativen Daten. Es bestanden Unsicherheiten, ob Tools zur Rechtschreib- und Grammatikprüfung zu deklarieren sind, vermutlich weil nicht immer klar war, ob es sich um generative Tools handelt oder nicht.
Grafik 3: Unsicherheiten beim Deklarieren von KI-Tools
Anliegen der Studierenden
Studierende nannten häufig ihre Anliegen bezüglich der Deklarierung von KI-Nutzung. Es wurde nach klaren Regeln und Beispielen gefragt, wie und was zu deklarieren ist, beispielsweise der Einsatz von Rechtschreibtools. Vielfach genannt wurde ausserdem der Bedarf an Schulungen zur effizienten und regelkonformen KI-Nutzung und an der Aufklärung über Gefahren von KI-Nutzung. Ebenso wurde die Zugänglichkeit von Tools und Chancengleichheit angesprochen und vorgeschlagen, Pro-Versionen der Tools bereitzustellen oder die Entwicklung eines eigenen KI-Tools voranzutreiben. Insbesondere der Nutzen von KI-Tools wurde betont, von der Nutzung als Tutor bis zur Unterstützung in verschiedenen Aufgaben, wobei die KI nach Meinung der Studienteilnehmenden das Denken und Schreiben nicht vollständig ersetzen kann. Auch die Einschränkungen von KI-Tools wurden diskutiert, darunter der Aufwand für die effektive Nutzung und die Notwendigkeit der sorgfältigen Kontrolle von Ausgaben. Bestehende Leistungsnachweise und Open-Book-Prüfungen wurden in Frage gestellt.
Grafik 4: Anliegen der Studierenden im Zusammenhang mit der Nutzung von KI bei Bachelorarbeiten
Fazit
In der vorliegenden Studie hat die Mehrheit der teilnehmenden Studierenden KI in ihrer Bachelorarbeit im Studienjahr 2022/23 eingesetzt, und auch positiv davon profitiert. Dabei wurden primär ChatGPT und DeepL verwendet. Die meisten Studierenden konnten mit dem Einsatz der KI-Tools Zeit sparen, und haben die Tools insbesondere für Textüberarbeitung, Klärung von Verständnisfragen, Erstellung von Zusammenfassungen und Generierung von Programmcode genutzt.
Die vorliegende Umfrage ist eine Momentaufnahme. Die Möglichkeiten von KI-Tools, insbesondere ChatGPT, waren zur Durchführung der Bachelorarbeiten erst seit wenigen Monaten bekannt. Es ist anzunehmen, dass sich die Nutzungsgewohnheiten der Studierenden verändern werden. Es wäre wünschenswert, die Studie inhaltlich auszubauen, eine Befragung der Dozierenden hinzuzufügen und sie in weiteren Departementen durchzuführen.
Titelbild: Adobe Stock