Prüfungsdidaktik
Die Prüfungsdidaktik zielt darauf ab, didaktisch sinnvolle Prüfungen zu konzipieren und umzusetzen, sie sukzessive zu verbessern und weiterzuentwickeln. Im Fokus stehen dabei u. a. die Beschreibung von Lernzielen und die darauf abgestimmte Auswahl der Prüfungsform, die entsprechende Vorbereitung der Studierenden, die zu den Lernzielen passende Gestaltung von Prüfungsaufgaben sowie die Qualitätssicherung der Prüfungsaufgaben bzw. der gesamten Prüfung.
Das Thema Prüfung sollte bereits bei der Planung einer Lehrveranstaltung mitgedacht werden. Gute Prüfungen zeichnen sich aus didaktischer Perspektive u. a. dadurch aus, dass sie auf die Lernziele und die Veranstaltungen abgestimmt sind und den Studierenden die Möglichkeit bieten, zu zeigen, welche der geforderten Kompetenzen sie in der Veranstaltung tatsächlich erworben haben. Im Folgenden werden zentrale Elemente genannt, die bei einer solchen Prüfungsplanung unterstützen können.
Lernziele und zu erwerbende Kompetenzen beschreiben
Bei der Planung von Veranstaltungen stehen häufig die Lerninhalte im Mittelpunkt. Es ist jedoch hilfreich, wenn Lehrende sich zugleich die Frage stellen, was die Studierenden nach Abschluss des Moduls bzw. einzelner Lerneinheiten genau wissen und können sollen: Geht es insbesondere um den Erwerb von Faktenwissen, um die Beurteilung von Sachverhalten, die Fähigkeit, eigenständig Problemlösungen zu entwickeln oder um andere Kompetenzen? Die Auseinandersetzung mit diesen Fragen kann dazu beitragen, dass bei der Konzeption der Veranstaltung Lehrinhalte entsprechend gewichtet oder strukturiert und Lernaktivitäten gezielt angeregt werden, so dass die Studierenden die entsprechenden Kompetenzen tatsächlich erwerben können.
Hilfreich bei einer solchen Veranstaltungsplanung ist der von John Biggs (1996) entwickelte Ansatz des Constructive Alignments. Die Idee dieses Konzepts ist es, von Beginn der Veranstaltungsplanung an Lehr-/Lernziele, die Prüfungsformen sowie entsprechende Lehr-/Lernaktivitäten aufeinander abzustimmen. Dazu können Lehrende u. a. Lernzieltaxonomien nutzen, um eher abstrakt formulierte Lernziele zu konkretisieren und verschiedenen Schwierigkeitsgraden zuzuordnen sowie Prüfungsaufgaben zu klassifizieren.
Prüfungsformen auf die Lernziele abstimmen
Im Hochschulkontext gibt es einige etablierte Prüfungsformen, die oftmals kaum hinterfragt werden. Jedoch lohnt sich die Frage, ob eine Prüfungsform tatsächlich geeignet ist, das Erreichen der für eine Lehrveranstaltung definierten Lernziele zu erheben. So lassen sich einige Kompetenzen gut in Antwort-Wahl-Prüfungen abbilden, andere aber besser in Freitext-Klausuren, Hausarbeiten, mündlichen oder praktischen Prüfungen. Ggf. können auch semesterbegleitende Teilprüfungen, die verschiedene Prüfungsformen kombinieren, sinnvoller sein als summative Abschlussprüfungen.
Ein solches idealtypisches Vorgehen, bei dem die Prüfungsform den intendierten Lernzielen entsprechend ausgewählt wird, lässt sich in der Praxis teilweise nicht umsetzen, etwa aufgrund von Festlegungen in Modulhandbüchern, Prüfungs- oder anderen Ordnungen oder weil der Workload der Studierenden oder die vorhandenen Kapazitäten der Lehrenden dies nicht zulassen (z. B. bei großen Studierendengruppen aufgrund beschränkter technischer, personeller oder finanzieller Ressourcen). Dennoch kann das Bewusstsein dafür, dass Lernziele und Prüfungsformen zusammenpassen sollten, dazu führen, dass Modifizierungen in den Prüfungen – bzw. auch in der Auswahl der Lehrinhalte und der Gestaltung der Lehre – vorgenommen werden, die zu einer höheren Passung führen. Bereits kleine Änderungen können häufig zu einer besseren Passung führen.
Bei der Umgestaltung können Prüfungsformen hilfreich sein, die mit Hilfe digitaler Medien umgesetzt werden. Es können Aufgabentypen verwendet werden, die durch den Einsatz multimedialer Darstellungsformen (Audio, Video) oder Software zur Aufgabenlösung auf andere Kompetenzen abzielen bzw. authentische, komplexe Lösungswege erfordern. So kann es zur Lösung einer computergestützten Aufgabe erforderlich sein, verschiedene visuelle, auditive und textliche Informationen zusammenzuführen und dabei berufstypische Werkzeuge zu verwenden. Zu beachten ist dabei allerdings, dass die Kompetenzorientierung nicht automatisch durch den Einsatz von Multimedia-Elementen oder Softwareprogrammen steigt, sondern durch die Aufgabengestaltung bzw. den Weg zur Lösung bestimmt wird.
Die Studierenden auf die Prüfung vorbereiten
Um Studierende gut auf anstehende Prüfungen vorzubereiten, können Maßnahmen auf unterschiedlichen Ebenen ergriffen werden: Dies reicht von der Unterstützung der Lernaktivitäten zum Erwerb der intendierten Kompetenzen über die Bereitstellung von (semesterbegleitenden) Tests und Übungsaufgaben bis hin zur Durchführung einer Probeklausur.
Die Begleitung von Lernprozessen und die Aktivierung von Studierenden ist ein wesentlicher Bestandteil der Lehre, den Lehrende im Rahmen ihrer Lehrveranstaltungen fortlaufend im Blick behalten sollten. Studierende sollten zur Prüfungsvorbereitung Lerninhalte nicht nur passiv wiederholen, sondern sich diese – idealerweise semesterbegleitend – aktiv erschließen. Lehrende können diesen Prozess durch ein methodisch vielfältig gestaltetes Angebot an Lernaktivitäten unterstützen, so dass die Studierenden z. B. Inhalte anhand von Fragen tiefergehend erfassen, konkrete Problemstellungen lösen oder realitätsnahe Fälle bearbeiten können. Der Einsatz digitaler Technologien zur Unterstützung solcher Aktivitäten kann fachspezifisch unterschiedlich sinnvoll und unterschiedlich komplex sein (z. B. Antwort-Auswahl-Tests, Peer-Instruktion über Audience-Response-Systeme in der Lehrveranstaltung, Simulationen, E-Portfolios usw.) (Reinmann, 2020) (PDF).
Idealerweise beziehen sich formative, d. h. während des Lernprozesses stattfindende, (unbenotete) Tests, auf die summative Prüfung, die der Leistungskontrolle am Ende des Semesters dient. Für Studierende ist es hilfreich, diese Verbindung zwischen den Lerninhalten, den zu erwerbenden Kompetenzen und den jeweiligen Prüfungsformen zu verstehen.
Um Abläufe zu optimieren und die Nervosität der Studierenden zu reduzieren, wird bei Prüfungsformen, die für Studierende neu sind, empfohlen, im Laufe des Semesters eine Probeprüfung sowie entsprechende Übungen durchzuführen, ggf. in der später genutzten Prüfungsumgebung. Dies betrifft bei E-Klausuren nicht nur die Prüfungsinhalte und beispielhafte Aufgaben, sondern auch organisatorische Abläufe oder technische Aspekte. Eine Probeklausur in der später genutzten Prüfungsumgebung ist auch aus juristischen Gründen ratsam.
Prüfungsaufgaben didaktisch gestalten
Zusammen mit den bereits genannten Aspekten ist insbesondere die Gestaltung der Prüfungsaufgaben von zentraler Bedeutung, um eine didaktisch sinnvolle Prüfung zu konzipieren.
Grundlegende Gestaltungstipps für die Aufgabenstellung
- Lernzielniveau: Die Prüfungsaufgaben sollten jeweils einem bestimmten Lernziel zugeordnet werden und dabei das angestrebte Lernzielniveau korrekt adressieren. Für die Kompetenzorientierung ist es hierbei sinnvoll, Aufgaben oberhalb des Lernzielniveaus „Erinnern (Wissen)“ möglichst in einen für das Lernziel relevanten, authentischen Kontext einzubetten. Dies kann beispielsweise durch fallbasierte Aufgaben, authentische (berufsrelevante) Problemlöse-Situationen oder die Abbildung von wichtigen Prozessen erfolgen.
- Formulierung der Aufgabenstellung: Die Aufgabenstellung sollte klar verständlich und eindeutig sein und dabei alle für die Beantwortung notwendigen Informationen enthalten, einschließlich der Vorgehensweise (was ist zu tun, in welchem Umfang) und der Bewertung (maximale Punktzahl, Teilbewertung ja/nein). Bei Aufgaben im Antwort-Wahl-Verfahren auf höheren Lernzielniveaus kann hier die „Cover-the-options-rule“ hilfreich sein. Dabei wird überprüft, ob die Aufgaben auch nach Abdecken der Antwortalternativen noch sinnvoll beantwortet werden könnten, z. B. als Freitext oder mündlich. Negative Formulierungen („Welche Antworten sind falsch?“) sollten vermieden werden, da dadurch zum einen oft ungewollt verwirrende, doppelte Verneinungen erzeugt werden und andererseits das Finden falscher Lösungen in der Regel keine relevante Kompetenz darstellt.
- Formateingabe bei Zahlenabfragen: Die Erwartung der Lehrenden an die Eingabe von Zahlen sollte klar formuliert werden, so dass den Studierenden die erwarteten Zahlenformate (Punkt oder Komma, Nachkommastellen, Notation) bekannt sind.
- Fehlertoleranz und Antwortalternativen: In der erwarteten Lösung sollte – insbesondere bei Lückentexten und Zahlenabfragen – das Ausmaß der Fehlertoleranz oder Alternativen im Vorfeld bedacht werden. Fragen, mit denen sich Lehrende an dieser Stelle beschäftigen sollten, sind z. B.: Werden Fachbegriffe, fremdsprachliche oder regional spezifische Begriffe erwartet? Gibt es Synonyme zur erwarteten Lösung? Sind Sätze oder einzelne Worte einzugeben? Werden Rechtschreibfehler sowie Groß- und Kleinschreibung berücksichtigt? Werden Zahlen ausgeschrieben? In den meisten Prüfungssystemen kann eine gewisse Fehlertoleranz auf Basis dieser Überlegungen eingestellt werden. Dennoch sollten Lehrende immer unvorhergesehene korrekte Antworten einplanen und dafür im Rahmen der Korrektur ein entsprechendes Vorgehen festlegen, wie z. B. eine manuelle Nachkorrektur.
- Konstrukt-irrelevante Varianzen: Bei der Erstellung der Aufgaben sollte darauf geachtet werden, dass keine konstrukt-irrelevanten Varianzen, also Merkmale, die nicht Teil des adressierten Lernziels sind, überprüft werden. Solche Merkmale können z. B. das Sprachverständnis von Nicht-Muttersprachlerinnen und Nicht-Muttersprachlern bei langen oder komplizierten Aufgabenstellungen sein, Persönlichkeitsmerkmale wie Rate- und Risikofreudigkeit bei Auswahlaufgaben oder Medienkompetenz bei Prüfungen mit engem Zeitkontingent. Unbedingt vermieden werden sollte auch die Abfrage von Meinungen oder Wertungen in geschlossenen Aufgaben.
Gestaltungstipps für Antwortalternativen im Antwort-Wahl-Verfahren
Werden Prüfungsaufgaben im Antwort-Wahl-Verfahren gestaltet, gilt es einige spezifische Aspekte zu berücksichtigen.
- Ausbalancieren der Antwortalternativen: Die Kunst der Gestaltung guter Antwortalternativen besteht vor allem darin, eine passende Balance zwischen Nähe und Abstand der Falschantworten (Distraktoren) zu der korrekten Antwort oder den korrekten Antworten (Attraktoren) zu finden. Sind die falschen Antworten inhaltlich oder formal sehr weit von der korrekten Antwort entfernt, sind sie leicht als falsch zu erkennen. Sind sie zu nah an der korrekten Antwort oder überlappen sich gar mit dieser, ist die Antwort nicht eindeutig.
- Plausibilität: Generell sollten alle Antworten plausibel sowie inhaltlich und formal homogen sein.
- Eindeutigkeit: Die Antwortalternativen sollten voneinander unabhängig sein und sich nicht überlappen, sich aber dennoch alle auf das betreffende Thema beziehen. Zusammenfassende Aussagen wie „Alle Antworten sind korrekt“, „Alle Antworten sind falsch“ oder „Nur Antwort a und e sind korrekt“ sollten vermieden werden, da sie einen anderen Schwierigkeitsgrad haben und die Lösung ggf. nicht mehr eindeutig ist.
Bei Unsicherheiten, aber auch zur Qualitätssicherung, kann es hilfreich sein, Feedback zu den Aufgaben von Kolleginnen und Kollegen einzuholen. Je nach Prüfungsordnung kann dies sogar obligatorisch sein.
Gestaltungstipps für Antwortalternativen finden sich auch in entsprechenden Leitfäden verschiedener Hochschulen. So bietet das Lehrmodul „Didaktische Gestaltung von Prüfungsaufgaben im E-Assessment“ der Universität Bremen Gestaltungstipps für Auswahlaufgaben. Leitfäden der TH Wildau geben didaktische Hinweise (inklusive Beispiele) zur Gestaltung von Aufgaben bei Open-Book-Klausuren und Fernprüfungen sowie von Fragen und Assessments (bei E-Prüfungen allgemein).
Lösungshinweise vermeiden
Abhängig vom Aufgabentyp können unterschiedliche, handwerkliche „Fehler“ passieren, die dazu führen, dass Prüfungsteilnehmende auch ohne die geforderten Kompetenzen Aufgaben korrekt beantworten können. Dies betrifft vor allem – aber nicht ausschließlich – Aufgaben im Antwort-Wahl-Verfahren.
Generell gilt für alle Aufgabentypen: Achten Sie darauf, dass die Antwort zu einer Aufgabe nicht in anderen Aufgaben (auch nicht in Aufgaben, die danach kommen) enthalten ist.
Ungewollte Lösungshinweise bei Antwort-Wahl-Verfahren
Die Antwortalternativen im Antwort-Wahl-Verfahren können ungewollte Lösungshinweise enthalten. Studierende mit hoher Test-Wiseness können aufgrund dieser Hinweise auch ohne entsprechendes fachliches Wissen die richtigen Antworten „erraten“ oder falsche Antwortalternativen ausschließen, was zu einer Verminderung der Validität führt.
- Abwegige Antwortalternativen: Ist eine Antwortalternative abwegig oder nicht plausibel, ist sie häufig falsch. Abwegige Antwortalternativen zu ergänzen, damit es mehr Antwortalternativen gibt und so die Ratewahrscheinlichkeit zu minimieren, ist daher nicht zu empfehlen.
- Ungewöhnliche Schreibweisen und formale Unterschiede: Antwortalternativen, die grammatikalisch nicht zur Aufgabenstellung passen bzw. orthografische Fehler enthalten, sind meist falsch. Dies kann passieren, wenn man der richtigen Antwort mehr Aufmerksamkeit schenkt als den falschen Antwortalternativen bzw. die Aufgabenstellung nachträglich ändert und dann nicht die komplette Aufgabe anpasst.
- Komplexe Formulierungen: Ist eine Antwortalternative länger, komplexer, wissenschaftlicher formuliert oder spezifischer als die übrigen ist sie meist richtig. Das liegt daran, dass bei der Erstellung der Aufgabe häufig das größte Augenmerk auf die richtige Antwort gelegt wird und dafür gesorgt werden soll, dass diese durch die Anreicherung mit Details eindeutig richtig ist.
- Wiederholungen von Fachbegriffen: Antwortalternativen, die Fachbegriffe aus der Aufgabenstellung wiederholen, sind oftmals richtig.
- Vage Formulierungen vs. absolute Aussagen: Vage formulierte Antwortalternativen (oft, meist, in der Regel, …) sind - aufgrund von existierenden Ausnahmen - meist richtig. Aus dem gleichen Grund sind absolute Aussagen (immer, nur, stets, …) meist falsch, weil Schwarz-Weiß-Aussagen in den meisten Wissenschaften nicht möglich sind.
- Gegensätzliche Antwortalternativen: Werden mehrere Antwortalternativen angeboten, von denen zwei gegensätzlich zueinander formuliert sind, handelt es sich meist bei einer der beiden um die richtige Antwort. Das kommt daher, dass das Gegenteil der richtigen Antwort meist die erste falsche Antwort ist, die einem einfällt. Alle weiteren Antworten fallen daher als plausible Alternativen weg.
- Antwortgruppen: Bei mehr als zwei Antwortalternativen, die sich formal oder inhaltlich gruppieren lassen, ist die richtige Antwort meist in dieser Gruppe zu finden.
- Häufig vorkommende Elemente: Bei Antwortalternativen, die jeweils aus einem Set mehrerer Elemente bestehen, zeichnet sich die richtige Antwort oft dadurch aus, dass sie die über alle Antworten hinweg am häufigsten vorkommenden Elemente enthält. Dies lässt sich darauf zurückführen, dass – auf Grundlage der richtigen Kombination – abweichende Antwortalternativen erstellt werden, die durch zusätzliche, dann seltener vorkommende, Elemente ergänzt werden.
Ungewollte Lösungshinweise bei anderen Aufgabentypen
Drag&Drop-Aufgaben:
Die Größe der Antwort- und Zielfelder kann Hinweise darauf geben, welche Antwort wo platziert werden soll. Dieser ungewollte Hinweis passiert oftmals aus Platzgründen.
Lückentexte:
Die Länge und die Anzahl der Lücken können Hinweise auf die gesuchten Lösungswörter geben.
Zuordnungsaufgaben:
Werden mehrere inhaltlich oder formal sehr unterschiedliche Teilaufgaben zu einer Aufgabe zusammengefasst, kann sie oft nach dem Ausschlussverfahren beantwortet werden.
Freitextaufgaben:
Negativ formulierte Aufgabenstellungen (z. B. „Was ist nicht Gegenstand von …?“) ermöglichen beliebig viele „Antworten“, die objektiv richtig sind. Dies passiert beispielsweise, wenn die Aufgabe zuvor als geschlossene Frage formuliert war oder wenn ein bestimmter Kontext im Hintergrund mitgedacht, aber nicht genannt wird.
Offene Aufgabentypen:
Ähnliches gilt für Aufgaben, die nach Meinungen oder Wertungen fragen (z. B. „Was würden Sie in dieser Situation tun?“). Sie lassen sich aus Studierendensicht in vielen Fällen „richtig“ beantworten, weil es darauf keine objektiv richtigen bzw. falschen Antworten gibt. Insbesondere bei der Verwendung von Szenario-Aufgaben sollte dies beachtet werden.
Tipps und Tricks für höhere Lernzielniveaus
Bei Auswahlaufgaben wird oft davon ausgegangen, dass sich mit diesen nur „untere“ Lernzielniveaus, wie „Erinnern (Wissen)“, adäquat prüfen lassen. Auch wenn sich dieses Vorurteil in der Praxis leider oft bestätigt, gibt es doch eine Reihe von Möglichkeiten, wie sich sowohl mit diesem Format als auch mit offenen Aufgabenstellungen die Lernzielniveaus „Verstehen“, „Anwenden“ und „Analysieren“ prüfen lassen (zu den genannten Lernzielniveaus siehe Anderson & Krathwohl, 2001). Hierzu zählen:
- Kontextualisierung: Aufgaben sollten möglichst in authentische, fach- bzw. berufstypische Szenarien oder Problemlösesituationen eingebettet werden. Komplexe Szenarien können ggf. in mehrere, aufeinander aufbauende Aufgaben gegliedert werden. Ein bekanntes Beispiel dafür sind die Key-Feature-Aufgaben aus der Medizin, bei denen z. B. der Prozess von der Anamnese über die Verdachtsdiagnose und die Untersuchung bis hin zur Behandlung an den entscheidenden Punkten mit Auswahlaufgaben abgebildet wird.
- Transfer: In den Aufgaben sollten nicht exakt die Beispiele aus der Lehrveranstaltung oder bekannten Quellen (wie Fachbüchern oder Lernportalen), sondern analoge Fälle und Beispiele verwendet werden. Oft kann dem Erfolg durch reines Auswendiglernen schon durch Formatänderungen begegnet werden. So können z. B. bekannte Texte aus dem Skript grafisch präsentiert oder Grafiken in Textform gebracht werden.
- Analyse: In authentischen Aufgabenstellungen kann die Anforderung darin bestehen, z. B. Datensätze, empirische Studien, wissenschaftliche Artikel oder andere fachspezifische Materialien analysieren zu lassen. Das Ergebnis der Analyse lässt sich bei ausreichender Anzahl an plausiblen Antwortalternativen auch im Antwort-Wahl-Verfahren abfragen. Aufgaben zu einer wissenschaftlichen Untersuchung können z. B. lauten: Ist die im Text beschriebene Methode im Beispiel korrekt angewendet worden? Ist die hier getroffene Aussage unter den gegebenen Rahmenbedingungen korrekt?
- Antwortanalyse: Wird zu einer Aufgabenstellung auch eine erdachte Antwort präsentiert, kann diese auf verschiedene Kriterien wie Vollständigkeit, Reihenfolge, Korrektheit etc. analysiert oder bewertet werden. Ein Beispiel wäre die Präsentation eines Lösungsweges mit falschem Ergebnis, bei dem nach der Position des falschen Schritts gefragt wird („Wo ist der Fehler passiert?“).
- Anwendung: Werden im Laufe der Lehrveranstaltung fachspezifische IT-Werkzeuge, virtuelle Labore oder andere Simulationsumgebungen verwendet, sollten diese auch ein wichtiges Element der digitalen Prüfung sein.
- Rechercheaufgaben: Prüfungen am Computer eröffnen die Möglichkeit, auch Rechercheaufgaben mit komplexen Suchen in Datenbanken und längeren Dokumenten zu verbinden. Dabei sollten allerdings nur Aufgaben gestellt werden, deren Antworten sich aus den zugänglichen Quellen nicht einfach ablesen lassen. Eine entsprechende Prüfungsform ist z. B. die Open-Book-Klausur.
- Antwort und Begründung: Bei dieser Aufgabenkonstruktion werden nicht nur verschiedene Antwortalternativen präsentiert, sondern zu der gewählten Antwort auch eine Begründung gefordert (z. B. als Freitextfeld oder Auswahlliste mit Begründungsvorschlägen).
Prüfungsleistungen beurteilen
Die Leistungsbeurteilung dient der Überprüfung des Lernzuwachses in Bezug auf die Lernziele bzw. die Kompetenzen, die in einem Modul bzw. einer Lerneinheit erworben werden sollen. Sie gibt nicht nur den Lernenden, sondern auch den Lehrenden Einblick in den Stand der Zielerreichung.
Im Hochschulkontext erfolgt die Leistungsbeurteilung überwiegend in Form einer Benotung. Hierbei gilt es allerdings verschiedene Aspekte zu berücksichtigen, wie bspw. Anika Limburg (2015) in einem umfassenden Beitrag im Portal LEHRELADEN des Zentrums für Wissenschaftsdidaktik der Ruhr-Universität Bochum aufgezeigt hat. Im Folgenden werden einige dieser Aspekte näher ausgeführt. So ist die Benotung von Prüfungsleistungen aus unterschiedlichen Gründen problematisch. Noten sind nur bedingt valide (da Aspekte einfließen können, die sich nicht auf den eigentlichen Prüfungsinhalt beziehen), nicht objektiv (da sie bei verschiedenen Lehrenden unterschiedlich ausfallen können) und nicht reliabel (da Wiederholungen häufig zu anderen Ergebnissen führen).
Vor diesem Hintergrund empfiehlt es sich, für jede Aufgabe eine realistische Anzahl von Beurteilungskriterien festzulegen und die Prüfungsleistungen anhand dieser Kriterien zu messen. Dazu können beispielsweise die Kriterienraster von Lernzieltaxonomien sinnvoll sein, die auch im Rahmen des Constructive Alignment empfohlen werden. Sie ermöglichen zugleich, unterschiedliche Schwierigkeitsgrade bzw. Lernzielniveaus in die Benotung einzubeziehen.
Begründungen für die Benotung einer Prüfung ermöglichen es Studierenden, aus ihren Prüfungsleistungen zu lernen. Dies erfordert allerdings Aufwand, der gerade in großen Veranstaltungen nicht etabliert und nur schwer zu leisten ist. Ist ein individuelles Feedback nicht möglich, kann jedoch gegebenenfalls ein standardisiertes Feedback auf Basis der ausgearbeiteten und für die Benotung verwendeten Beurteilungskriterien bereitgestellt werden.
Auch bereits zu Beginn einer Lehrveranstaltung spielen die Beurteilungskriterien eine wichtige Rolle. Im Sinne einer fairen, transparenten und dem Lernzielniveau sowie der Komplexität des Lösungswegs angemessenen Leistungsbeurteilung sollten die Beurteilungskriterien frühzeitig an die Studierenden kommuniziert werden. Dies ist insbesondere deswegen relevant, da Lehrende unterschiedliche Anforderungen haben und Studierende so die Leistungskriterien in ihre Vorbereitungen einbeziehen können.
Qualitätssicherung: Analyse der Prüfungsergebnisse
Ein wichtiges Element der Qualitätssicherung von Prüfungen ist – neben einem kollegialen Review bei der Aufgabenerstellung sowie dem Feedback der Studierenden (Evaluationen, Aufgabenkommentare) – die statistische Auswertung der Prüfungsdaten. Computergestützte Prüfungen bieten den Vorteil, dass diese Daten von vornherein digital vorliegen und von den Prüfungssystemen häufig sowohl als Rohdaten als auch in aufbereiteter Form bereitgestellt werden, zumindest für einfache geschlossene Fragen.
Prüfungsergebnisse können auf unterschiedlichen Ebenen statistisch ausgewertet werden, u. a. auf Ebene der Gesamtprüfung, der einzelnen Aufgaben oder der Antwortalternativen:
- Gesamtprüfung: Auf der Ebene der Gesamtprüfung können das durchschnittliche Ergebnis und dessen Varianz, die Verteilung der Punkte bzw. Noten analysiert werden. Ebenso ist eine Schwachstellenanalyse über die Prüfungsthemen (Wie viel Prozent der erreichbaren Punkte wurden pro Thema von den Studierenden durchschnittlich erreicht?) möglich. Diese Informationen können wichtige Impulse für die Anpassung der Lehre in nachfolgenden Lerneinheiten bzw. Semestern liefern.
- Aufgaben: Auf der Ebene der Aufgaben sind die wichtigsten Kennwerte der Schwierigkeitsgrad und die Trennschärfe, die sowohl einzeln als auch in Kombination betrachtet werden sollten. Dabei sind diese Werte immer im Zusammenhang der betreffenden Aufgabe und des Lehrkontextes zu bewerten. Sowohl sehr leichte Aufgaben mit geringer Trennschärfe (Einstiegsaufgaben) als auch sehr schwere Aufgaben mit hoher Trennschärfe (Aufgaben für Eins-Plus-Kandidatinnen und -Kandidaten) können beabsichtigt sein.
- Antwortalternativen: Auf Ebene der Antwortalternativen kann analysiert werden, inwiefern z. B. falsche Antworten auch von Studierenden mit schlechtem Gesamtergebnis sehr selten gewählt wurden (dann sind sie möglicherweise zu offensichtlich falsch) oder von Studierenden mit gutem Gesamtergebnis sehr häufig gewählt wurden (dann liegt möglicherweise ein Verständnisproblem oder ein Bewertungsfehler in der Aufgaben-Programmierung vor). Richtige Antworten, die von allen Studierenden fast immer gewählt wurden, sind möglicherweise zu offensichtlich korrekt (siehe Test-Wiseness).