Ein Bericht von Philip Meyer, e-teaching.org

TAG 1

Die Begrüßung übernahm der Präsident der Universität Paderborn, Prof. Dr. Wilhelm Schäfer, der als Informatiker auch einen persönlichen Bezug zum Thema der Veranstaltung feststellte. Bezüglich der Forschung zur Technologieentwicklung verwies er auf eine frühe Förderung des Standorts Paderborn durch die Heinz Nixdorf Stiftung, die Paderborn in der Ausrichtung als „Universität der Informationsgesellschaft“ prägte. Anschließend folgte eine kurze Begrüßung und Einführung der verantwortlichen Organisatorinnen, Prof. Dr. Dorothee Meister und Prof. Dr. Gudrun Oevel. Sie erinnerten daran, dass bereits beim ersten E-Prüfungs-Symposium an der RWTH Aachen im Jahr 2014 der Wunsch nach einer jährlichen Fortführung geäußert worden war. Die Universität Paderborn griff diesen Wunsch nun auf.

E-Assessment im Inverted Classroom:
Ein Linguist zeigt, was möglich ist

Zum inhaltlichen Einstieg in das Symposium hielt Prof. Dr. Jürgen Handke von der Universität Marburg die Keynote „Hochschullehre digital – Elektronische Test- und Prüfungsszenarien“. Dabei erörterte er zunächst seine Vision von digitalisierten Lehreinheiten, die darin bestehen, dass die Inhaltsvermittlung mediengestützt stattfindet und an der Hochschule nach dem Modell des „Inverted Classroom“ schließlich geübt und vertieft wird. Dem Tagungsthema entsprechend betonte er dabei die Mehrwerte des Einsatzes digitaler Prüfungen z.B. in anonymen Live-Votings, in diagnostischen, integrierten, formativen oder summativen Tests. Auf die besondere Bedeutung der Feedbackformen ging Herr Handke gesondert ein. Ein nicht zu unterschätzendes Argument für E-Assessments ist für ihn die Zeitbudgetfrage. In diesem Zusammenhang verwies er auf die Hochschullehrerstudie von Jakob und Teischler (2011), die die Zeitkontingente von Hochschullehrern 2007-2008 im internationalen Vergleich untersuchten und feststellten, dass Universitätslehrende in Deutschland sowieso relativ wenig Zeit für die Lehre aufwenden. Allerdings wurde diese Begründung aus dem Plenum kritisiert, da das Prinzip der Einheit von Forschung und Lehre als Ideal der klassischen deutschen Universität keine klare Trennung der beiden Bereiche in Befragungen ermögliche. Zudem thematisierte die Diskussion die Vermittlung von Selbststudierfähigkeit, den Umgang mit Heterogenität und Barrierefreiheit bei formativen Assessments, die Bewältigung von hohen Studierendenzahlen und die Potenziale und Grenzen adaptiver Test-verfahren, die auf Benutzungsdaten angewiesen sind. Anschließend bekamen die Posterbeitragenden des Symposiums die Gelegenheit, die Themen ihrer Poster vorzustellen. In der folgenden Mittagspause und während der gesamten Tagung wurden die Poster im Foyer ausgestellt. Die Gelegenheit für Rückfragen, zur Erläuterung und Diskussion mit den Ausstellenden wurde intensiv genutzt. 

Vom Lern- zum Itemmanagementsystem –
und was es bei Multiple Choice zu bedenken gibt

Am Nachmittag teilte sich die Veranstaltung in zwei Sessions. Die erste Session thematisierte hochschulische Implementationsstrategien. Zum einen stellte dort Dr. Christine Kapper den Einsatz von E-Prüfungen an der Universität Graz vor und zum anderen widmeten sich Prof. Dr. Burkhard Wrenger und sein Team der Betreuung von Lehrenden im summativen E-Assessment an der Hochschule Ostwestfalen-Lippe.In der zweiten Session behandelten zwei Beiträge der Universität Halle-Wittenberg technische und didaktische Lösungen. Christoph Jobst verglich dabei Prüfungsfragenpools in verschiedenen Systemen, zum einen in den Lernmanagement-Systemen Moodle und ILIAS und zum anderen im Itemmanagement-System IMS. Die All-in-One-Lösungen der LMS könnten zwar vieles, so Jobst, seien aber dafür nicht bis ins letzte Detail ausgearbeitet. Das spezialisierte IMS sei in Bezug auf Prüfungsfragen der Vorreiter, aber auch nicht perfekt, da noch häufig Bugs auftreten würden. Jobst plädierte abschließend für ein gemeinsames Austauschformat (z.B. QTI), automatische Autorenhilfen und eine stärkere Prozessualisierung der Nutzeroberfläche durch Workflows. In der Diskussion wurde die Frage aufgeworfen, ob ein Vergleich zwischen LMS und IMS grundsätzlich sinnvoll ist – und von Jobst bejaht, da es um die Optimierung der Systeme und die Orientierung am Wünschenswerten gehe. Im nächsten Beitrag ging der Psychologe Prof. Dr. Josef Lukas vertieft auf Multiple-Choice-(MC)-Aufgaben und vor allem auf Schwierigkeiten bei deren Auswertung ein. Er beklagte insbesondere Unkenntnis bei Lehrenden und auch fehlende Ratgeber zur Gestaltung von MC-Fragen. Anhand eines kognitionswissenschaftlichen Modells zur Ratewahrscheinlichkeit verdeutlichte er die Schwierigkeit, „Kompetenz“ von „Performanz“ beim Prüfen zu unterscheiden und geeignete Fragetypen auszuwählen. Vor allem zeigte er, dass praktizierte Vergabepraktiken von Punkten und Maluspunkten für richtige und falsche Antworten ein verfälschtes Bild des Wissenstands der Studierenden geben.

Hochschuldidaktik und die Lehrenden:
E-Assessment zur Unterstützung des Lernprozesses

Nach der Kaffeepause stellten Anton Tremetzberger et al. als Auftakt der technikorientierten Session das Projekt eExams der Universität Innsbruck vor, in dessen Rahmen ein System zur Unterstützung bei E-Prüfungen entwickelt wird. David Böhler und Dr. Silke Biller von der Universität Basel gingen auf Prüfungen mit Tablets ein, die im Projekt BeAxi erprobt werden, und Mazdak Karami und das Team von der Servicestelle Medien für die Lehre der RWTH Aachen stellten eine Managementsoftware für elektronische Prüfungen vor. In der Parallelsession standen didaktische Aspekte im Vordergrund. David Van de Water von der TU Kaiserslautern referierte über einen alternativen E-Assessment-Ansatz, der eine stärker prozess- und situationsorientiere Beurteilung von (häufig praktischen) Leistungen ermöglicht. Dabei spielen insbesondere Sensoren zur Erfassung von Umgebungseigenschaften eine Rolle. Kritisch nachgefragt wurde die Anwendbarkeit in akademischen Disziplinen außerhalb der Sportwissenschaft. Ein anderer Zuhörer merkte zustimmend an, dass formative Daten doch helfen können, um als Lehrender zu intervenieren und lernförderliches Feedback zu geben. Zudem war die Messung von „Sensibilität“ z.B. bei medizinischen Anwendungen eine Anregung, die den Vortrag aus dem Plenum noch ergänzte. Im Anschluss ging es um „E-Assessment-Literacy“. Deren Vermittlung über die Hochschuldidaktik lag im Fokus der Referenten Prof. Dr. Heinz-Werner Wollersheim und Norbert Pengel von der Universität Leipzig. Dort wird die Entwicklung, Durchführung, Auswertung und Evaluation von Prüfungen aufeinander abgestimmt und in einem IT-System abgebildet. Katharina Hombach und Julia Krämer von der FH Münster berichteten über eine qualitative Untersuchung, in der sie didaktische Potenziale von E-Prüfungen an ihrer Hochschule erhoben. Ein Ergebnis war, dass der Anlass, sich E-Prüfungen zuzuwenden, häufig eine hohe Korrekturbelastung ist. E-Assessments führten dann aber auch zu einer bewussten Auseinandersetzung mit der Prüfungsgestaltung und zu einem Wandel der Lehr- und Lernkultur, auch einhergehend mit einer „Rhythmisierung“ des Lernens. Hombach und Krämer betonten vor diesem Hintergrund die Bedeutung formativer Elemente als Ergänzung zum summativen Prüfen.

Zum inhaltlichen Abschluss des ersten Tages fanden noch Treffen des in diesem Jahr gegründeten Netzwerks „Scan-Klausuren“ sowie der Arbeitsgruppe E-Assessment NRW statt.

TAG 2

Juristische Aspekte des E-Assessments:
Ein Plädoyer für weniger Bedenken

Den zweiten Tag eröffnete die Keynote von Jurist Prof. Dr. Michael Beurskens von der Universität Bonn. In seinem Vortrag betrachtete er das Thema des Symposiums aus rechtlicher Sicht und ging dabei sowohl auf Chancen als auch auf Gefahren ein. In Bezug auf formative Prüfungen stellte Beurskens fest, dass diese freiwillig, anonym und keine Voraussetzung für die summative Prüfung sein dürfen, um rechtlich unproblematisch zu sein. Allgemein sprach er sich gegen zu detaillierte Prüfungsordnungen aus, da Überregulierung in diesem Feld erhebliche Einschränkungen für die Gestaltung von Prüfungen und die Umsetzung innovativer Ansätze mitbringe. Auch zeigte Beurskens, dass Gefahren, die häufig als Argumente gegen E-Klausuren vorgebracht werden bei Papierklausuren ebenso bestehen – ohne dass sie dort thematisiert werden. Dazu gehören z.B. das Täuschungs- und Manipulationsrisiko, die eindeutige Au-thentifizierung, die Gefahr von Systeminstabilität und technischen Ausfällen. Ausführlich ging er auf die Gestaltung von rechtssicheren Multiple-Choice-Antworten ein und sprach sich dafür aus, bei Prüfungen zumindest zu einem Teil erprobte Altfragen zu verwenden. Zudem beobachtete Beurskens einen positiven Trend zur Professionalisierung und Institutionalisierung von E-Prüfungen, der allerdings mit den Nachteilen der Überregulierung, geringerer Flexibilität und einer höheren Kostenhürde einhergehe. In der Diskussion wurde deutlich, dass gerade bei Multiple-Choice Fragen eine rechtliche Unsicherheit besteht, etwa bei der Frage, wann Maluspunkte bzw. Punktabzug zulässig sind. Wie genau solche Fragen gestaltet sein müssen, machte Beuerskens in der Diskussion an einer Reihe von Beispielen deutlich. Er appellierte an die Hochschulen, bei Prüfungsanfechtungen nicht sofort nachzugeben und auch den Rechtsweg zu beschreiten. Um dies selbst zu unterstützen, kündigte er (mit einem Augenzwinkern) an, jede Hochschule bei Prüfungsanfechtungen kostenlos zu beraten.

IT-Systeme, die funktionieren – und ein Risikomanagement (nicht nur) für den Notfall

Nach der Pause stellten Alexander Hörnlein und seine Kollegen das Trainingssystem CaseTrain vor, das an der Universität Würzburg für elektronische Prüfungen genutzt wird. Es ist mit der Lernplattform „wuecampus“ verbunden und bietet Fallverwaltung, Statistiken, Test- und Übungserstellung sowie Korrektur. Außerdem können damit Prüfungen während der Durchführung überwacht werden, um gegebenenfalls zu intervenieren oder bei technischen Problemen eine angemessene Zeitverlängerung zu gewähren. In der Diskussion wurde u.a. die Aussage von Hörnlein unterstrichen, dass der Ermessensspielraum des Lehrenden beim Prüfen erhalten bleiben sollte, da es nicht um „Testen“ im rein statistischen Sinne ginge, sondern um das Beurteilen von Leistungshinweisen anhand gegebener Daten. Sven Slotosch und Steffen Ritter vom Projekt bwEKlausuren gingen anschließend auf eine Virtualisierungslösung in Baden-Württemberg ein, die E-Prüfungen auch ohne großflächige PC-Pools in den Hochschulen und mit bestehender Hardware realisierbar macht. Ziel ist es, eine abgesicherte Prüfungsumgebung zu schaffen, auf die von beliebigen Rechnern an den Hochschulen zugegriffen werden kann und die auch den hochschulübergreifenden Austausch von E-Assessments zwischen Hochschulen ermöglicht. Vorlagen für Prüfungsumgebungen können dabei von Dozierenden selbst erstellt werden. Zu diesem Zweck lassen sich auf einem minimal eingerichteten Betriebssystem alle für die Prüfung erforderlichen Programme installieren und Einstellungen vornehmen. Anschließend wird die so erstellte Um-gebung gespeichert, zentral bereitgestellt und kann von einem oder mehreren PCs bzw. PC-Pools über eine Internetverbindung gestartet werden. Auf den Client-PCs in den Pools wird dafür keine zusätzliche Software benötigt. Den letzten Vortrag vor der Mittagspause hielt Michael Surkau von der WWU Münster zum Risikomanagement beim Betrieb von IT-Systemen für E-Prüfungen. Besonders betrachtete er die Bereiche Prüfungsstationen, Serversysteme und Netzwerke. Schritte beim Risikomanagement sind laut Surkau zunächst die Identifikation von Risiken, deren Bewertung, die Konzeption von Maßnahmen und die Durchführung. Da Fehler trotz des Prozesses immer passieren könnten, sprach er sich für verstärkte Organisation und Kommunikation aus, um Unwägbarkeiten rechtzeitig zu erkennen und Fehler zu beheben. In der Diskussion wurde deutlich, dass viele Tagungsteilnehmer im Risikomanagement und auch im Kundenmanagement einen entscheidenden Erfolgsfaktor sehen, um E-Assessment in der Hochschule umzusetzen und Enttäuschungen aufzufangen.

Die finale Session:
angehende Ingenieure und Lehrer prüfen

In der finalen Session gingen Katrin Billerbeck und Dr. Nicole Podleschny vom Zentrum für Lehren und Lernen der TU Hamburg-Harburg auf kompetenzorientierte E-Prüfungen in den Ingenieurwissenschaften ein. Sie stellten dabei auch Ergebnisse einer Studie vor, die das Lernverhalten der Studierenden untersuchte. Mit besonderem Blick auf formative Prüfungen zeigten sie Wege auf, die Studierenden zum kompetenzorientierten Lernen anzuleiten und ihnen auch ein Feedback zu ermöglichen, das zur Weiterentwicklung der Aufgabestellungen beiträgt. Der nächste Vortrag von Jana Niemeyer und Dr. Alexander Tillmann von der Goethe-Universität Frankfurt thematisierte die Qualifizierung von Hochschullehrenden und die Unterstützung bei der Einführung elektronischer Prüfungen. Dabei stellten sie umfangreiche Workshopkonzepte vor, die die Planung, Technik und Didaktik (z.B. das richtige Stellen von Fragen), aber auch die Qualitätssicherung berücksichtigen. Den Abschluss markierte der Vortrag von Dr. Anna Mashkovskaya von der Universität Duisburg-Essen zu Sprachdiagnose und Sprachförderung für Lehramtsstudierende durch das System SkaLa. Es gebe, so zeigte eine Studie, die Mashkovskaya vorstellte, einen deutlichen Bedarf für eine Förderung von angehenden Lehrer/innen. Das Assessmenttool wird bereits vor dem Beginn des Lehramtsstudiums genutzt und soll eine Früherkennung von Problemen ermöglichen, an die sich Beratungsgespräche und Selbstlernanwendungen anschließen.

Ein Workshop zur Entwicklung neuer E-Assessment-Ideen

Parallel zu den Sessions am zweiten Tag fand der Kreativworkshop „Digitales Prüfen – Neue Formen entwickeln“ statt. Darin wurde zunächst zusammengetragen, welche Aspekte von E-Assessments die Akteure an Hochschulen „ärgern“. Dabei wurden sehr unterschiedliche Faktoren genannt, z.B. die Schwierigkeiten, die damit verbunden sind, dass in Großveranstaltungen in mehreren Durchgängen geprüft werden muss, die Unübersichtlichkeit und Widersprüchlichkeit der Gesetzeslage oder Ängste bei Kolleginnen und Kollegen. Danach bearbeiteten drei Gruppen selbstgewählte Problemfelder unter Rückgriff auf eine Kreativitätsmethode (die Methode 365), bei der verschiedene Lösungen aufgeschrieben und weiterentwickelt wurden. Dabei ging es um die Motivation für E-Prüfungen, um das grundlegende Potenzial digitaler Prüfungen und um das Schaffen von Akzeptanz. Es entstand u.a. die Idee der Einführung eines „E-Prüfungspreis“, die bei den Workshopteilnehmenden viel Anklang fand. Nach einem sehr kreativen Vormittag wurde am Nachmittag ein systematischer Ansatz gewählt, um Ideen für neue Prüfungsformen zu generieren. Dabei wurde z.B. überlegt, welche Faktoren einbezogen werden müssen, um einen kollaborativen Aufgabenpool unter Berücksichtigung aller dafür notwendiger Aspekte zu entwickeln. Die Workshopergebnisse sollen innerhalb der nächsten Wochen und Monate ausgearbeitet und publiziert werden. Dazu hat sich bereits ein kleines Redaktionsteam zusam-mengefunden.

Fazit

Das gut besuchte Symposium zeigte das große Interesse am Thema „E-Assessment“. Akteure vieler Hochschulen aus Deutschland, Österreich und der Schweiz präsentierten bewährte Umsetzungsformen, Projekte in der Konzeptions- und Umsetzungsphase sowie grundsätzliche Überlegungen und tauschten sich zwei Tage lang intensiv über elektronische Prüfungen aus. Gerade durch die Fokussierung der Veranstaltung auf „summative“ Aspekte konnten die Herausforderungen an vielen Stellen vertieft und anspruchsvoll diskutiert werden. Z.B. war dies der Fall bei der Gestaltung von technologischen Lösungen innerhalb und außerhalb der Lernmanagementsysteme und bei der Implementation von organisationalen Prozessen. Einig war man sich auch, dass die Veranstaltung viel Raum für „Networking“ und Austausch – auch über Probleme – ließ. So war man sich z.B. einig, dass in vielen Fällen große Prüfungsräume keine unbedingte Notwendigkeit im E-Assessment sind, da Prüfungen auch andernorts, z.B. mit Tablets in den Seminarräumen, durchgeführt werden können. Außerdem: Es gibt zahlreiche Strategien, um mit (auch rechtlichen) Risiken umzugehen. Da sich momentan viele der Konzepte und Neuentwicklungen erst in den Hochschulen zu verbreiten beginnen, ist für die kommenden Jahre damit zu rechnen, dass die Bedeutung des Themas E-Assessment an Hochschulen weiter steigt.

Auch deshalb ist es erfreulich, dass für das kommende Jahr wieder ein e-Prüfungs-Symposium geplant ist. Es wird voraussichtlich Ende September 2016 an der RWTH Aachen stattfinden. Der Abstractband des ePS 2015 gibt einen Überblick über die Beiträge und Posterpräsentationen. Die Aufzeichnung der Keynotes und weitere Foto- und Video-Impressionen der Tagung sollen in Kürze auf der Tagungshomepage veröffentlicht werden.