Rezension Schenkel, Tergan & Lottmann (2000)

Anlaß für die Entstehung dieses Bandes war die Entwicklung eines multimedialen Lern- und Informationssystems zum Thema "EDV im Handwerk". Dieses Multimediaprodukt wurde im Rahmen des Modellversuchs "Multimediale, arbeitsplatznahe Weiterbildung zur Einführung und Nutzung von Informations- und Kommunikationstechniken im Handwerk (IKTH)" (Durchführungsträger: Arbeitsgemeinschaft IKTH) entwickelt. Ziel der beiden Tagungen, deren Ergebnis der vorliegende Band ist, war es, dieses Multimediaprodukt mit Hilfe verschiedener Methoden und –verfahren vergleichend zu evaluieren.

Teil A (Grundlagen der Qualitätsevaluation) des Bandes umfaßt fünf Beiträge: S.-O. Tergan führt in einem breit angelegten Überblick in Grundfragen (Grundbegriffe, Funktionen, Ziele, Rahmenbedingungen, Gegenstände und Methoden) der Evaluation von Bildungsangeboten ein. P. Schenkel (Ebenen und Prozesse der Evaluation) stellt ein Qualitätsmodell und ein Prozeßmodell der Evaluation vor und spezifiziert dieses für die verschiedene Ebenen (Produkt-, Reaktions-, Lern-, Handlungs-, Erfolgs-, Return-on-Investment-Ebene) und Phasen (Planung, Methodenwahl, Durchführung, Analyse, Bericht/Empfehlung) des Evaluationsprozesses. R. Fricke (Qualitätsbeurteilung durch Kriterienkataloge. Auf der Suche nach validen Vorhersagemodellen) behandelt methodische Fragen der Evaluation mit Hilfe von Kriterienkatalogen. Der Tenor seiner Ausführungen besagt, daß das auf Kriterienkataloge gestützte Expertenurteil sich nicht mit den tatsächlichen Wirkungen von Instruktionsmedien deckt, da die Beurteilerübereinstimmung bei der Quantifizierung von Qualitätskriterien zu wünschen übrig läßt, die Korrelation zwischen den Qualitätskriterien und Lernerfolg zumeist von geringer praktischer Signifikanz ist, Medienvariablen mit anderen Lehrstoff- und Lernervariablen interagieren und schließlich Kriterienkataloge den konkreten Verwertungszusammenhang einer Bildungssoftware zumeist nicht berücksichtigen. Einen Ausweg sieht Fricke darin, Kriterienkatalog nicht blind und automatisch anzuwenden, sondern unter Berücksichtigung der gegebenen Bedingungen (Zielgruppe, Lernziele, Rahmenbedingungen) aus den Katalogen die jeweils angemessenen Kriterien auszuwählen. H. Mandl und G. Reinmann-Rothmeier (Vom Qualitätsbewußtsein über Selbstevaluation und maßgeschneidertes Vorgehen zur Transfersicherung) betonen – sozusagen als motivationale Voraussetzung des Evaluierens – die Notwendigkeit eines ausgeprägten Qualitätsbewußtseins bei allen Beteiligten (Entwickler, Entscheider, Anwender, Nutzer). In Analogie zum Konzept des selbstgesteuerten / selbstbestimmten Lernens sehen sie in der Selbstevaluierung (durch Selbstbeobachtung, Selbstprotokollierung und Selbstkontrolle) der Lernenden eine wichtige Informationsquelle für die Qualitätssicherung von Bildungsangeboten. F. Schott (Evaluation aus theoriegeleiteter, ganzheitlicher Sicht) stellt UCIT vor, ein umfassendes Modell für das Instruktionsdesign. Es handelt sich dabei um einen heuristischen Rahmen, aus dem sich sowohl Planungs- als auch Evaluationsaktivitäten ableiten lassen. Letztere faßt Schott im Evaluationsmodell ELISE zusammen, welches folgende Schritte vorsieht: (1) Festlegung von Umfang und Auflösungsgrad der Evaluation, (2) Analyse des Programms bzw. von Teilen des Programms unter verschiedenen Gesichtspunkten (Programmstruktur, Lehr-Lernsystem, Lernprozesse u.a.), (3) Empirische Erprobung, (4) Revision, (5) Zusammenführen der Teilevaluationen, (6) Bedarfsanalyse, (7) Gesamtbewertung.

Teil B (Methoden der Qualitätsevaluation) umfaßt neun Beiträge. A. Lottmann infomiert zunächst über Ziele, Adressaten und Konzeption des Modellversuchs IKTH (s.o.). S.-0. Tergan berichtet über eine kleine Umfrage unter dreizehn Experten, in der diese elf Fragen zur Bedeutung von Qualitätsmerkmalen für die Evaluation von Lernsoftware zu beantworten hatten. Die Fragen zielten darauf ab, Unterschiede und Gemeinsamkeiten zwischen den Experten zu erheben. Die Ergebnisse bestätigen den aus anderen Studien bekannten Befund, daß eine Quelle für die mangelnde Übereinstimmung von Expertenurteilen Unterschiede in den impliziten Annahmen der Experten über die Bedeutung einzelner Merkmale für das Lerngeschehen ist. Im Mittelpunkt der folgenden Beiträge steht die Evaluation des multimedialen Informationssystems "EDV im Handwerk" mit Hilfe verschiedener Evaluationsmethoden (Expertenurteil auf der Basis von Kriterienkatalogen, schriftliche Befragung von / Interviews mit Adressaten, lernbegleitendes Lautes Denken). A. Meier evaluiert die Lern- und Informationssoftware "EDV im Handwerk" mit Hilfe der auch in elektronischer Form verfügbaren Kriterienkataloge MEDA und AKAB. Kh. Korbmacher verwendet hierzu SODIS, das SOftware DOkumentations- und InformationsSystems des Landesinstituts für Schule und Weiterbildung in Soest. F. Schott, F. Krien, S. Sachse und Th. Schubert wenden die aus dem Instruktionsdesign-Modell UCIT (s.o.) abgeleitete Evaluationsheuristik ELISE auf die Lernsoftware an. G. Reinmann-Rothmeier und H. Mandl berichten über zwei Studien (eine Interview-, eine Fragebogenstudie), in denen Meister- und Technikschüler die Lernsoftware "EDV im Handwerk" hinsichtlich Akzeptanz, Lernerfolg, Transfer sowie Softwarequalität zu beurteilen war. G. Zimmer und E. Psaralidis berichten über fünf Fallstudien, in denen die Probanden vor, nach Beendigung des Lernens mit der Software und schließlich zu einem späteren Zeitpunkt zur Umsetzung des Gelernten befragt wurden. Kennzeichnend für den qualitativen subjektwissenschaftlichen Ansatz dieser Autoren ist, daß sie das Lernen mit "EDV im Handwerk" in einen breiten Kontext – in die Arbeit- und Berufssituation sowie die bisherigen Lernerfahrungen der Probanden – einbetten, und deren evaluative Aussagen über die Lernsoftware auf dem Hintergrund dieser Zusatzinformationen interpretieren – und auch in Frage stellen. H. Freibichler berichtet über zwei Fallanalysen, bei denen zwei Personen die Lernsoftware im Beisein eines Beobachters bearbeiteten und ihre Arbeit durch lautes Denken begleiteten. In einem abschließenden Beitrag faßt S.-O. Tergan die Ergebnisse dieser Einzelstudien unter folgenden Aspekten vergleichend zusammen: (1) Welche Stärken und Schwächen haben die verwendeten Experten-Beurteilungsverfahren? (2) Kommen Experten mit Hilfe unterschiedlicher Beurteilungsverfahren zu vergleichbaren Urteilen? (3) Führen unterschiedliche empirische Verfahren (schriftliche Befragung, Interviews, lautes Denken) zu vergleichbaren Urteilen über die Lernsoftware? (4) Führt die Anwendung von Experten-Beurteilung und die von empirischen Verfahren zu vergleichbaren Urteilen. (5) Welche Stärken und Schwächen haben Experten-Beurteilungsverfahren gegenüber Adressatenbefragungen.

Ohne auf die Ergebnisse im einzelnen hier eingehen zu können, möchte ich doch im folgenden kurz begründen, warum mir dieser Band sehr gut gefallen hat: (1) Er verfällt nicht in die vielfach zu beobachtende "Multimediahuberei". Es wird vielmehr durchgehend gezeigt, daß Medien nur ein Faktor in einem komplexen Geschehen sind, dessen Wirkung im konkreten Fall durch viele andere Bedingungen (individuelle Lernvoraussetzungen, Stoffvariablen, Situations- und Kontextvariablen) moderiert und kompensiert werden kann. (2) Wer selbst Lern- und Bildungsmedien evaluiert, findet in dem Band eine Fülle von Anregungen, um für die eigenen Rahmenbedingungen eine "maßgeschneiderte" Evaluationskonzeption zu entwickeln. Es wird aber auch klar, daß beim heutigen Stand der Forschung standartisierte, allgemeinverbindliche Evaluationskonzeptionen nicht zu haben sind, es sei denn auf einer relativ hierarchiehohen, abstrakten Ebene, auf der es um die Festlegung von Evaluationszielen, -fragen und -verfahren geht. (3) Der Vergleich der verschiedenen Evaluationsmethoden macht deutlich, daß Experten- und Adressatenurteil einander zwar ergänzen, aber doch letzten Endes unterschiedliche Sachverhalte erfassen und daß man nicht davon ausgehen kann, daß Experten kraft ihrer Expertise sozusagen die Qualitätsurteile der Adressaten antizipieren. Die zum Teil gravierenden Bedenken gegen den praktischen Nutzen der Lern- und Informationssoftware "EDV im Handwerk" wurden nur in jenen Evaluationsarrangements erhoben, in denen die Adressaten zu Wort kamen. Die von Experten auf der Basis von Kriterienkatalogen gebildeten evaluativen Urteile betrafen dagegen mehr die Qualität der Mediengestaltung, die überwiegend positiv beurteilt wird. Aus diesem Grund wird denn auch in verschiedenen Beiträgen dieses Bandes ein kombiniertes Vorgehen empfohlen, bei dem Experten und Adressaten in die Evaluation einbezogen werden.

Vermißt habe ich in dem Band eine Anbindung der Thematik "Evaluation von Lern- und Instruktionsmedien" an die allgemeine und sehr breite Diskussion um Programmevaluation wie sie derzeit in den verschiedensten Feldern (Entwicklungshilfe, Jugendhilfe, Organisationsentwicklung, Schule usw.) geführt wird.

Dr. Felix Friedrich
Institut für Wissensmedien (IWM), Tübingen

Diese Rezension ist erschienen bei Texte online auf der Homepage des DIE. http://www.die-frankfurt.de/esprid/dokumente/doc-2000/friedrich00_01.htm