Evaluation

Evaluation oder Evaluierung, aus „stark, wert sein“, bedeutet sach- und fachgerechte Untersuchung und Bewertung.Evaluation – Duden, Bibliographisches Institut; 2017Lars Balzer, Andreas Frey, Peter Nenniger: Was ist und wie funktioniert Evaluation? In: Empirische Pädagogik: Zeitschrift zu Theorie und Praxis erziehungswissenschaftlicher Forschung. () Bd. 13, H. 4 (1999), S. 393–413

Unter Evaluation wird meist die Bewertung bzw. Begutachtung von Projekten, Prozessen und Funktionseinheiten (z. B. von Geräten, Objekten) sowie Organisationseinheiten verstanden. Dabei können Kontext, Struktur, Prozess, Aufwand und Ergebnis einbezogen werden. Im Allgemeinen lässt sich als Evaluation auch die grundsätzliche Untersuchung begreifen, ob und inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen. Im Sprachgebrauch werden auch die Begriffe Evaluation, Untersuchung und Analyse gleichbedeutend im Sinne einer Bestandsaufnahme ohne besondere Zweckorientierung gebraucht.

Anwendungsbereiche der Evaluation sind etwa Bildung, Soziale Arbeit, Verwaltung, Wirtschaft oder Politikberatung. Für eine Evaluation werden Daten methodisch erhoben und systematisch dokumentiert, um die Untersuchung, das Vorgehen und die Ergebnisse nachvollziehbar und überprüfbar zu machen. Standardverfahren zur internen und externen Datenerfassung sind Befragung, Beobachtung, Monitoring, Test, Fragebogen und Materialanalyse. Die Bewertung erfolgt durch den Vergleich der ermittelten Ist-Werte mit vorher explizit festgelegten, operationalisierten und begründeten Soll-Werten anhand festgelegter Indikatoren. Evaluation muss bestimmte „Gütekriterien“ erfüllen: neben den Grundvoraussetzungen Nützlichkeit und Objektivität sind dies Reliabilität, Validität, Ökonomie und Normierung.

Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung und dem Verständnis von Situationen und Prozessen. Anhand der Evaluationsdaten können untersuchte Prozesse angepasst und optimiert werden.K. Götz: Zur Evaluierung beruflicher Weiterbildung. Deutscher Studienverlag, Weinheim 1993. Abhängig vom Einsatzzeitpunkt werden folgende Arten von Evaluation unterschieden: Antizipatorische oder prospektive Evaluation Die prospektive Evaluation findet vor einer Maßnahme statt. Formative Evaluation Die formative Evaluation wird prozessbegleitend während einer Maßnahme durchgeführt. Die Maßnahme wird in regelmäßigen Abständen untersucht und Zwischenresultate erhoben, um sie bestmöglich durchzuführen und bei Fehlentwicklungen anzupassen. Diese neuen Maßnahmen können wiederum evaluiert werden. Zusätzlich besteht im Rahmen der formativen Evaluation die Möglichkeit subjektive Eindrücke von Betroffenen zu erhalten (ohne retrospektive Verzerrungen). Summative Evaluation Als summative Evaluation wird eine ergebnisbewertende, also nach dem Abschluss einer Maßnahme stattfindende, Evaluation bezeichnet. Dies ermöglicht, die Wirksamkeit einer Maßnahme zusammenfassend zu bewerten. Das kann sich auf Konzeption, Durchführung, Wirksamkeit und Effizienz beziehen.

Mit der Forschung verbindet Evaluation das Bemühen um empirische Überprüfbarkeit, allerdings untersucht sie konkrete Einzelfälle und ist praxisorientiert.

Wortherkunft Das Wort Evaluation (Bewertung, Auswertung) wurde zuerst im 19. Jahrhundert im Französischen verwendet, mit Beginn des 20. Jahrhunderts auch im Englischen. In den USA ist es im modernen Verständnis seit den 1930er Jahren gebräuchlich (seit der Eight-Years-Study 1933–1941 von Ralph W. Tyler u. a.).Vgl. Craig Kridel, Robert V. Bullough: Stories of the Eight-Year Study. State University of New York Press, New York 2007.Peter Hlebowitsh: Ralph W. Tyler (1902–1994). Contribution to Testing and Curriculum Development, Advisory Role, in: Education Encyclopedia, StateUniversity.com. Tylers verhaltensorientiertes Konzept wurde nach dem Sputnikschock 1957 in der danach einsetzenden Bildungsreform kritisiert und verändert. In Deutschland wurde das englische Wort Evaluation Ende der 1960er Jahre aus dieser amerikanischen Tradition übernommen; wichtig dafür wurde eine von Christoph Wulf herausgegebene Sammlung von Übersetzungen englischsprachiger Publikationen v. a. im Kontext der Curriculumsforschung.Christoph Wulf (Hrsg.): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversuchen. Erziehung in Wissenschaft und Praxis 18, Piper, München 1972 (). Die Wortbedeutung „Bewertung“ wurde dabei zunächst verengt auf die Bewertung insbesondere der Arbeit von Bildungsinstitutionen (die Curriculum-Entwicklung seit den 1930er-Jahren). Inzwischen wird, wie in den USA seit langer Zeit, auch in anderen sozialen Handlungsbereichen in Deutschland „evaluiert“.

Abgrenzung

Unterscheidung empirisch begründeter Evaluationen von alltäglicher Bewertung Professionell durchgeführte Evaluationen unterscheiden sich nach L. Balzer durch folgende Kriterien von alltäglicher Bewertung: auf klar definierten Gegenstand bezogen von Experten durchgeführt Bewertung anhand präzise festgelegter und offengelegter Kriterien (Evaluations‐/Bewertungskriterien) Informationsgewinnung durch empirische Datenerhebung Systematische Informationsbewertung anhand bestimmter Regeln

Evaluationsprozess und Differenzierungen bezüglich des Gegenstandes von Evaluation Auf den Evaluationsprozess wird von L. Balzer, wie folgt, näher eingegangen: „Evaluation ist ein Prozess, … bei dem nach zuvor festgelegten Zielen und explizit auf den Sachverhalt bezogenen und begründeten Kriterien ein Evaluationsgegenstand bewertet wird. Dies geschieht unter Zuhilfenahme sozialwissenschaftlicher Methoden durch Personen, welche hierfür besonders qualifiziert sind. Das Produkt eines Evaluationsprozesses besteht in der Rückmeldung verwertbarer Ergebnisse in Form von Beschreibungen, begründeten Interpretationen und Empfehlungen an möglichst viele Beteiligte und Betroffene, um den Evaluationsgegenstand zu optimieren und zukünftiges Handeln zu unterstützen.“L. Balzer: Wie werden Evaluationsprojekte erfolgreich? – Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Verlag Empirische Pädagogik, Landau 2005.

Die Beurteilung von Personen oder Institutionen, die mit (oftmals negativen) Sanktionen verbunden ist, ist zu differenzieren von der Beurteilung von Maßnahmen, die auf ihre Wirksamkeit hin untersucht werden und als Evaluation im eigentlichen Sinne bezeichnet werden können. Auf der Basis einer Zielvereinbarung wird eine Ausgangserhebung durchgeführt, es werden daraufhin Maßnahmen geplant, mit denen die Ziele erreicht werden sollen. Dann müssen Messinstrumente/Beurteilungskriterien entwickelt werden, mit denen man überprüfen kann, ob die Maßnahmen zum Erfolg geführt haben. Eventuell nach Zwischenerhebungen während der Durchführung wird in einer Schlusserhebung der Erfolg der Maßnahme überprüft, um daraus neue Zielvereinbarungen zu treffen und erneut in den Kreislauf einzutreten. Betroffene sollen zu Beteiligten werden, so dass der Prozess konsensual verläuft und nicht durch fremde Interessen und unklare Kriterien bestimmt wird.

Modelle

Es gibt im Wesentlichen drei verschiedene Richtungen in der Evaluation:Marvin C. Alkin, Christina A. Christie: An Evaluation Theory Tree. In: Marvin C. Alkin (Hrsg.): Evaluation Roots. Tracing Theorists’ Views and Influences. Sage, Thousand Oaks 2004, S. 12–65.

Methodenorientiert Objectives-Oriented Evaluation (Ralph W. Tyler) The methodological View (Donald T. Campbell) Evaluative Research (E. A. Suchman) Causal Generalization (T. Cook) Theory Driven Evaluation (H.-T. Chen) Evaluation as Art (L. J. Cronbach)

Nutzenorientiert CIPP Model (D. L. Stufflebeam) Evaluation Research, Political Context & Enlightment (C. H. Weiss) Utilization-focused Evaluation (M. Q. Patton) The Four Levels (Donald Kirkpatrick) Empowerment Evaluation (D. Fettermann)

Bewertungsorientiert Valuing (M. Scriven) Responsive Evaluation (R. E. Stake) 4th Generation – Constructivist Evaluation (Guba & Lincoln) Adversery Evaluation (Owens & Wolf) Connoisseurship Model (E. W. Eisner)

Methoden Bortz & Döring unterscheiden drei Typen von Methoden:J. Bortz, N. Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 3., überarb. Aufl., Nachdruck, Springer, Berlin 2005, ISBN 3-540-41940-3, S. ?.

Populationsbeschreibend

Sie „ermöglichen eine Abschätzung der Verbreitung und der Hintergründe eines Sachverhaltes und erleichtern die Definition der Zielpopulation.“

Explorativ

Sie „dienen der Erkundung von Interventionsprozessen und deren Wirkungen. Sie zielen auf die Formulierung bzw. Konkretisierung von Wirkhypothesen ab und tragen dazu bei, die relevanten Variablen zu identifizieren und zu operationalisieren.“

Hypothesenprüfend

Sie „testen den Einfluss der untersuchten Intervention auf sinnvoll operationalisierte Wirkkriterien.“J. Bortz, N. Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 3., überarb. Aufl., Nachdruck, Springer, Berlin 2005, ISBN 3-540-41940-3, S. 118.

Methoden zur Datengewinnung und Datenverarbeitung sind:

Beobachtung Monitoring Experiment Fallstudie Fragebogen Interview Klinische Studie Qualitative Forschung (Qualitative Methoden) Quantitative Forschung (Quantitative Methoden) Statistische Methoden Wirkungsanalyse

Standards Andreas Gruschka formuliert 1976 anlässlich eines Kollegstufenversuchs im Bildungsbereich in Nordrhein-Westfalen, was seither in die Handbücher Eingang gefunden hat: „Gütekriterien der Evaluation sind nicht mehr primär Validität, Reliabilität und Objektivität, sondern Kommunikation, Intervention, Transparenz und Relevanz.“Andreas Gruschka (Hrsg.): Ein Schulversuch wird überprüft. Das Evaluationsdesign für Kollegstufe NW als Konzept handlungsorientierter Begleitforschung, Kronberg 1976, S. 142–151; vielfach zitiert oder reformuliert, z. B. bei Bortz & Döring 2006 oder Reinhard Stockmann: Evaluation in Deutschland. In: Ders. (Hrsg.): Evaluationsforschung: Grundlagen und ausgewählte Forschungsfelder, Waxmann, 3. Auflage. Münster 2006, S. 15–46, hier S. 23.

Die Deutsche Gesellschaft für Evaluation hat Evaluationsstandards erarbeitet, die eine objektive Vergleichbarkeit von Evaluationsergebnissen gewährleisten und Konflikten vorbeugen soll. Sie unterscheidet dabei vier Standards, die jeweils durch Richtlinien präzisiert werden. Nützlichkeitsstandards sollen sicherstellen, dass sich die Evaluationen an den geklärten Zielen und am Informationsbedarf der vorgesehenen Nutzer ausrichten.Vgl. Deutsche Gesellschaft für Evaluation e. V. (Hrsg.): Standards für Evaluationen. Redaktion: Dr. Wolfgang Beywl, Zimmermann-Medien, Köln 2002, ISBN 3-00-009022-3, S. 8 f. Die Regeln der Durchführbarkeitsstandards dienen dazu, Schaden vom Evaluationsgegenstand abzuwenden und dadurch Belastungen der Beteiligten zu reduzieren, und schließlich dem Kosten-Nutzen-Verhältnis der Evaluation ein ausgewogenes Maß zukommen zu lassen.Vgl. Hans Merkens (Hrsg.): Evaluation in der Erziehungswissenschaft. Schriftenreihe der DGFE, VS Verlag für Sozialwissenschaften / GWV Fachverlage GmbH, Wiesbaden 2004, ISBN 3-531-14470-7, S. 29. Sie sollen somit eine gut geplante, realistische, diplomatische und kostenbewusste Ausführung einer Evaluation gewährleisten. Die Standards der Fairness sollen gewährleisten, dass der Umgang zwischen den beteiligten Personen fair und respektvoll abläuft. Die Aufgabe von Genauigkeitsstandards ist sicherzustellen, dass Evaluationen fachlich angebrachte Informationen über die Güte und die Möglichkeit der Verwendung des evaluierten Programms hervorbringen und übermitteln.Vgl. James R. Sanders: Handbuch der Evaluationsstandards. Die Standards des „Joint Committee on Standards for Educational Evaluation“. Übersetzt von W. Beywl und T. Widmer, 3. Auflage, Wiesbaden 2006, S. 155.

Ausgewählte wichtige Anwendungsbereiche