Mit der weltweiten Veröffentlichung von ChatGPT Ende 2022 veränderte sich die Möglichkeit, KI einzusetzen, schlagartig. KI wurde auch außerhalb von Expertenrunden massenhaft zugängig. Mit der Niedrigschwelligkeit, mit der generative KI nun eingesetzt werden kann, verändern sich auch die Möglichkeiten an Bildungseinrichtungen wie Hochschulen. Textlastige Arbeiten wie Hausarbeiten oder Vorträge können dank KI-Unterstützung schon jetzt einfacher und deutlich schneller erstellt werden.
Die Erkennung von KI-Anteilen (engl. AI-Detection) in textlastigen Arbeiten stellt sich derweil jedoch als große Herausforderung für Lehrende dar. Da technisch zuverlässige Methoden zur AI-Detection bislang fehlen, reagieren Hochschulen auf die erhöhte Möglichkeit des Cheatings qua KI mit der Anwendung von Eigenerklärungen der Studierenden und mit hochschulweit geltenden Codes of Conduct.
Neben diesen Risiken bestehen immense Potenziale auch auf Seiten der Lehrenden. Textlastige Klausuren dürften schon bald qua Anwendung KI deutlich schneller ausgewertet und bewertet werden können. Insbesondere in Klausuren, die in den geistes- und sozialwissenschaftlichen Disziplinen verfasst werden, sind lange Texte keine Seltenheit. Diese schneller korrigieren und bewerten, zu können, wird an den Hochschulen weltweit derzeit genauer betrachtet.
In diesem Experten-Workshop soll daher die Zukunft der Hochschulprüfungen unter der Bedingung von KI thematisiert werden. Der Workshop wird sich diesem Thema aus drei Blickwinkeln nähern:
- Welche Prüfungsformen sind unter der Bedingung der massenhaften Verfügbarkeit von (text-)generativer KI derzeit als zukunftstauglich einzustufen?
- Wie kann KI gewinnbringend in Prüfungssituationen eingesetzt werden?
- Wie könnten kompetenzorientierte Prüfungen an Hochschulen in Zukunft aussehen?
Dozierende: Alexander Schulz (Freie Universität Berlin), Dr. Tobias Halbherr (ETH Zürich)
Anmeldung: Online Formular
2. Impulvortrag mit Workshop, 11:00 – 12:15: KI für die Vorbereitung von Klausuraufgaben
Dozierende: Miriam Chrosch (Freie Universität Berlin)
Anmeldung: Online-Formular
3. Impulsvortrag mit Diskussion, 13:15 – 14:30: Potentials of AI in the Analysis and Evaluation of Essay-type tasks
– in englischer Sprache –
For the Automatic Short Answer Grading (ASAG) task in NLP, after the dissemination of neural networks and attention based transformer models, researchers shifted their focus to extract crucial syntactic and semantic information to be used in the comparison of blueprint answers to that of students. In the first part of our discussion, the shortcomings and potentials of using transformer models for the task of ASAG will be explored, supported by real life research examples collected in a project group.
The introductory first part leads to the second part which is dedicated to the use of Large Language Models (LLMs) for the same answer grading and evaluation task. Bearing in mind the ongoing debates about the latent and visible dangers of using LLMs expansively in many fields, problems that pertain to the task of ASAG in higher education will be discussed. Certain examples will be used to at least attempt to represent how such problems can be remedied or limited with the later developments in the field.
Learning Goals
Through the examples and the discussion, the audience is invited to challenge the existing examination systems and concepts, and to gain more information on the effects of emerging AI technologies on higher education, especially around the following focal points:
- What makes a good evaluation of formal and scientific bodies of text?
- Do language models of any kind hold promise to surpass the quality of human evaluation in exams, in regard to the existing causes of human error (e.g. bias, exhaustion, etc.)
- What can be some examples of the positives/negatives LLMs may bring, even in a relatively controlled environment?
Dozierende: Tunc Yilmaz (Freie Universität Berlin), Andrea Palmini
Anmeldung: Online Formular
