Bild: benedek/Getty Images Signature via Canva.com

Grundlegend sind die Planung und Durchführung einer Prüfung stets als ein Teil der Gestaltung und Konzeption der gesamten Lehrveranstaltung zu betrachten. Um bei der Planung einer Veranstaltung Lernziele, Lehr- und Lernmethoden sowie die Prüfungsform(en) sinnvoll aufeinander abzustimmen, bietet z. B. das Konzept des Constructive Alignment eine gute Hilfestellung. 

Die organisatorischen Aspekte der inhaltlich-didaktischen Prüfungsgestaltung werden auf der Portalseite Prüfungsdidaktik ausführlich thematisiert. Im Folgenden wird ein grundlegender Überblick über die technische und organisatorische Umsetzung digitaler Prüfungen gegeben. Spezifische Umsetzungsaspekte für einzelne Prüfungsformen werden im Portalbereich Prüfungen und Tests jeweils im Rahmen der ausführlichen Darstellung einzelner Prüfungsformen gegeben.

Technische Umsetzungsszenarien digitaler Prüfungsformen

E-Prüfungen können in unterschiedlichen Szenarien technisch umgesetzt werden:

• Prüfungen in Prüfungszentren
• Prüfungen in Computerräumen, die auch für die Lehre genutzt werden (z. B. als E-Klausur in Präsenz)
• Prüfungen in Hörsälen oder Seminarräumen mit hochschuleigenen, temporär aufgebauten Endgeräten
• Prüfungen in Hörsälen oder Seminarräumen mit Endgeräten Studierender (sog. BYOD - bring your own device)
• Remote-Prüfungen mit Aufsicht (z. B. in Form mündlicher Videoprüfungen oder E-Klausuren in Distanz)
• Remote-Prüfungen ohne Aufsicht (z. B. Hausarbeiten, Take-Home-Exams)

Die Prüfungsform sollte u. a. danach ausgewählt werden, welche Kompetenzen die Studierende im Rahmen der Lehrveranstaltung erwerben sollen. Bei der Ausgestaltung des Prüfungsszenarios gilt es entsprechend sicherzustellen, dass auch wirklich die gewünschten Kompetenzen abgefragt werden und nicht technisch-organisatorische Aspekte den Charakter der Prüfung bestimmen. Um letzterem entgegen zu wirken, sollte sowohl auf technische als auch didaktische Barrierefreiheit geachtet werden.

Lehrende sollten sich bereits im Vorfeld über die an der jeweiligen Hochschule möglichen Prüfungsszenarien sowie über technische, organisatorische und didaktische Unterstützungsmöglichkeiten und Prozesse bei ihren Service-Einrichtungen bzw. dem Prüfungsamt informieren. Je nach Szenario unterscheiden sich die Aufgaben der Lehrenden sowie der Serviceeinrichtungen in den jeweiligen Vorbereitungs-, Durchführungs- und Nachbereitungsphasen. Im Folgenden werden ausgewählte zentrale Aufgaben in den jeweiligen Phasen vorgestellt, die Lehrende beim Einsatz digitaler Prüfungen im Rahmen ihrer Lehrveranstaltungen beachten sollten.

Vorbereitung

Studierende: Information und Erprobung der Prüfungsumgebung

Im Vorfeld der Prüfung müssen Studierende rechtzeitig über technisch-organisatorische Bedingungen informiert werden. Abhängig von der Prüfungsform beinhalten diese z. B. die Installation notwendiger Software sowie Hinweise auf weiterführende Informations- und Unterstützungsangebote. Das Ziel sollte sein, technisch-organisatorische Fragen Studierender zu antizipieren und zu beantworten. Lehrende müssen dabei nicht stets aufs Neue Informationen zusammenstellen, sondern können für grundlegende Informationen idealerweise auf hochschulseitig bereitgestellte Angebote zurückgreifen oder verweisen.

Studierende sollten außerdem eine Möglichkeit erhalten, das Prüfungsformat vorab kennenzulernen und zu testen. Im Fokus des Tests sollte eine realistische Abbildung der späteren Prüfungssituation möglich sein, z. B. im Hinblick auf Fragetypen, Bedienfunktionen, Zeitstruktur, Abgabemodalitäten etc.

Barrierefreiheit

Mit der Konzeption einer digitalen Prüfung sollte ein möglichst hindernisfreier Ablauf angestrebt und dabei eine angemessene technische Umsetzung gewählt werden. Grundlegend sollte darauf geachtet werden, dass das technische Umsetzungsszenario so einfach wie möglich gehalten ist und sich die technischen Anforderungen ausschließlich auf ein notwendiges Mindestmaß beschränken. Im Vorfeld angemerkte Rückmeldungen der Studierenden zu (technischen) Barrieren sollten für die Konzeption der Prüfung berücksichtigt werden. Ein solches Feedback kann bspw. durch Probeprüfungen angestoßen werden. Sollte eine barrierearme Umsetzung nicht realisierbar sein, sind die Möglichkeiten von zeitlichen oder inhaltlichen Nachteilsausgleichen zu bedenken. Ist ein E-Assessment-Team an der Prüfungsdurchführung beteiligt, so muss dieses frühzeitig über geplante Nachteilsausgleiche, wie bspw. eine Schreibzeitverlängerung, informiert werden.

Konzeption der automatischen Korrektur

Digitale Prüfungen ermöglichen bei der Verwendung geschlossener Aufgabetypen automatische Korrekturen. Diese müssen bereits im Vorfeld durch die Lehrperson definiert und im Zuge der Qualitätssicherung nach Möglichkeit durch Peers überprüft werden. Hierbei sind nicht nur Definitionen korrekter Antworten im Antwort-Wahl-Verfahren möglich, sondern auch komplexere Regeln zur Bewertung, etwa Zahlenabfragen mit Toleranzwerten, Formelfragen mit festgelegten Werte- und Ergebnisbereichen, Textmusterabgleiche oder Alternativantworten bzw. teilweise Übereinstimmungen bei Lückentexten. Es existieren auch Systeme zur Bewertung mathematischer Ausdrücke (wie z. B. das Open-Source-System STACK). Der Aufwand für die bereits im Vorfeld der Prüfung durchgeführte Entwicklung von Fragen und als korrekt akzeptierte Antworten sowie von automatischen Feedbacks rechnet sich üblicherweise selbst bei kleinen Kohorten.

Durchführung

Aufsicht und Identifikation

Die Durchführung einer Prüfung kann – je nach Prüfungsordnung – von unterschiedlichen Personen übernommen werden. So ist an einigen Hochschulen die alleinige Durchführung unter technischer Aufsicht, also ohne Anwesenheit von pädagogischem bzw. wissenschaftlichem Fachpersonal möglich, während an anderen Hochschulen zusätzlich die Anwesenheit des bzw. der Prüfungsverantwortlichen erforderlich ist. 

Sofern eine Identifikation der Prüflinge rechtlich geboten ist (z. B. bei Klausuren oder mündlichen Prüfungen), müssen die Standards der jeweiligen Hochschule beachtet werden.

Technische Probleme

Die Sorge vor technischen Ausfällen wird in der Regel überbewertet. Die für diesen Fall an der Hochschule etablierten Strukturen und Supportmöglichkeiten sollten jedoch bereits im Vorfeld bekannt sein. Die zuständige Prüfungsaufsicht sollte über die Art und Form der Protokollierung von Vorfällen und Auffälligkeiten informiert sein und diese entsprechend umsetzen. Bei digitalen Prüfungen ist insbesondere die Protokollierung technischer Probleme notwendig, um spätere Einsprüche Studierender auf ihre Gültigkeit hin prüfen zu können.

Nachbereitung und abschließende Verwaltungstätigkeiten

(Automatische) Korrektur

Je nach Prüfungssystem besteht die Möglichkeit, auch Freitextantworten mit Hilfe von Textmusterabgleichen oder einer Korrekturunterstützung, z. B. durch Highlighten der Keywords, teilweise automatisch zu bewerten. Auch die manuelle Korrektur offener Fragen kann in E-Klausuren durch den Export (oder die vertikale Korrektur durch eine fragenweise Darstellung der Antworten) erleichtert werden. So kann etwa die übersichtliche Darstellung aller Antworten zu einer Frage bei der Begutachtung helfen, da das komplette Antwortspektrum vergleichend betrachtet werden kann. Ebenso können vorher festgelegte Kriterienlisten zu einer Frage angezeigt werden, um die manuelle Beurteilung zu erleichtern. Beurteilungsrubriken (wie sie z. B. im Lernmanagementsystem Moodle verfügbar sind) können die standardisierte manuelle Korrektur von Freitextantworten unterstützen.

Noteneingabe

Nach der Finalisierung der Noten müssen diese in das Campusmanagementsystem entsprechend den organisatorischen Vorgaben der Hochschule übertragen werden. Um diese Aufgabe zu erleichtern, bieten Prüfungssysteme Exportfunktionen für die relevanten Daten an.

Bereitstellung von Prüfungsergebnissen

Digitale Prüfungen bieten den Vorteil, Prüfungsergebnisse zeitnah bereitstellen zu können, insbesondere bei geschlossenen Aufgabetypen. Es empfiehlt sich, die Prüfungsergebnisse nach der Korrektur für alle Studierenden gleichzeitig zu einem festgelegten Zeitpunkt freizugeben. So lassen sich vorzeitige und zeitaufwändige Nachfragen nach den Ergebnissen vermeiden. Insbesondere sollten Noten nur dann final veröffentlicht werden, wenn vorangegangene Schritte (wie ggf. die Anpassung der relativen Bestehensgrenze, Streichungen oder Gutschriften) erfolgt sind. Alternativ sollte die Möglichkeit einer vorläufigen Notenbekanntgabe mit dem Prüfungsamt abgesprochen werden.

Einsicht und mögliche Widersprüche

Mit der Bekanntgabe der Noten erhalten Studierende die Möglichkeit der digitalen Prüfungseinsicht. Die genauen organisatorischen und rechtlichen Abläufe können sich dabei hochschulspezifisch unterscheiden. Bei der digitalen Prüfungseinsicht ist es grundsätzlich nicht nur möglich, die für einzelne Aufgaben vergebenen Punkte einzusehen. Darüber hinaus ermöglichen digitale Prüfungen – abhängig von der Prüfungsform – oftmals auch ein spezifisches, automatisiert erstelltes Feedback, das das jeweilige Antwortverhalten des Prüflings berücksichtigt. So kann z. B. bei einer Schwachstellenanalyse die erreichte Punktzahl pro Themenblock in Prozent aufgeschlüsselt werden. 

Mit Hilfe des Feedbacks können die Noten transparent begründet werden. Der Veröffentlichungszeitpunkt und der Umfang des Feedbacks sollten dabei allerdings mit Bedacht gewählt werden, um zukünftige Nachprüfungen nicht zu kompromittieren. Das Prüfungssystem kann ggf. auch den Prozess des Widerspruchs digital unterstützen. Um Widersprüche, die auf ungeklärten Fragen und Missverständnissen beruhen, zu vermeiden, sind begleitende Sprechstunden durch die Lehrperson zu empfehlen. Unstimmigkeiten können so im direkten Gespräch geklärt werden.

Speicherung/Archivierung

Ein letzter Arbeitsschritt ist die Speicherung (Archivierung) der Prüfungseingaben und -ergebnisse. Prüfungssysteme unterstützen ggf. bei der Aufbereitung der Exportdateien (z. T. mit Archivierungsplugins). Einige Systeme erlauben auch digitale Signaturen für die Prüfungsleistungen, um nachträgliche Änderungen bzw. Manipulationen aufdecken zu können. Generell gilt es, alle Dokumente entsprechend der Richtlinien der Hochschule und der fachspezifischen Bestimmungen (Aufbewahrungsfristen) digital aufzubewahren und nach Ablauf zu löschen (Datenschutz). Sofern entsprechende Plugins, wie z. B. das Course-Life-Cycle-Plugin in Moodle, im Lernmanagementsystem verwendet werden, können manche dieser Aufgaben auch automatisiert erfolgen.

Qualitätssicherung

Die Qualitätssicherung stellt im Rahmen der Prüfungsgestaltung eine phasenübergreifende Aufgabe dar. In der Vorbereitungsphase bieten Prüfungssysteme ggf. die Möglichkeit, Fragen oder Aufgaben vor der Durchführung einer digitalen Prüfung (z. B. einer E-Klausur) nach dem Vier-Augen-Prinzip als einsatzfähig zu markieren. Dabei können bzw. müssen der Status der Bearbeitung (Entwurf oder Fertigstellung einer Version) bzw. die Bestätigung der formalen Korrektheit der Fragen (auf Wunsch im Peer-Review) von den Prüfenden bestätigt werden (siehe z. B. die Funktion der Versionierung von Fragen in Moodle oder den Ablauf der Begutachtung (Review) in Dynexite).

Statistische Auswertungen von Einzelfragen nach der Prüfung geben wichtige Hinweise auf die Qualität der Fragen. Zu 100 Prozent richtig beantwortete Fragen verweisen auf eine fehlende Trennschärfe und können entfallen oder als Eingangsfrage dienen. Fragen ohne richtige Antworten deuten auf Fehler oder eine ungenaue Fragestellung hin. Fragen, die vom Lehrenden als leicht bzw. schwer eingestuft werden, können nach statistischer Auswertung zu einer neuen Gewichtung in der Lehre führen. Weiterführende Informationen zur Analyse der Prüfungsergebnisse im Rahmen der Qualitätssicherung bietet die Portalseite Prüfungsdidaktik.