Begriffe und Modelle der Evaluationsforschung ............................................................................ 3
Evaluation: Definition, Bestimmungsstücke usw. ............................................................................... 4
Programmevaluation ........................................................................................................................... 5
Vergleiche ............................................................................................................................................ 6
Grundlagen vs. Evaluationsforschung ............................................................................................. 6
Typen von Programmevaluationen: Formativ vs. Summativ .......................................................... 7
Fremd vs. Eigenevaluation .............................................................................................................. 8
Praxis- vs. theorieorientierte Programmevaluation ........................................................................ 9
Dilemmata der Programmentwicklung ............................................................................................... 9
Zieldilemmata (Auftragsphase) ....................................................................................................... 9
Kriteriendilemmata (Planungsphase) .............................................................................................. 9
Designdilemmata (Planungs- und Durchführungsphase).............................................................. 10
Auswertungs- und Interpretations-dilemmata (Ergebnisphase) .................................................. 10
Standards der Programmevaluation ................................................................................................. 10
Nützlichkeitsstandards (Utility) ..................................................................................................... 11
Korrektheitsstandards (Propriety)................................................................................................. 11
Genauigkeitsstandards (Accuracy) ................................................................................................ 11
*Evaluations-Verantwortlichkeit (Evaluation Accountability Standards) ..................................... 12
Beispielstudie............................................................................................................................. 13
Workloadstudie ‚Psychologie‘ an der OVGU ..................................................................................... 13
Untersuchungsplanung ............................................................................................................... 19
Validitätsarten ................................................................................................................................... 19
Interne Validität ................................................................................................................................ 20
Gefährdungen der internen Validität ............................................................................................ 20
Evaluation psychologischer Interventionen .................................................................................. 22
Konstruktvalidität .............................................................................................................................. 28
Gefährdungen der Konstruktvalidität ........................................................................................... 28
Brunswik-Symmetrie ..................................................................................................................... 29
Treatment-Integrität ..................................................................................................................... 31
Statistische Validität .......................................................................................................................... 31
Bedrohungen der statistischen Validität ....................................................................................... 31
Effektstärkekonzept ...................................................................................................................... 33
Replikationskrise ............................................................................................................................... 37
Präregistrierung ................................................................................................................................. 39
1
, Externe Validität ................................................................................................................................ 40
Prinzipien der Generalisierbarkeit................................................................................................. 41
Bedrohungen der externen Validität............................................................................................. 41
Minimalanforderungen an klinische Wirksamkeitsstudien............................................................... 42
Entscheidungs-und Bewertungshilfen: Monetäre Ansätze ........................................................... 45
Kosten-Nutzen-Analyse ..................................................................................................................... 45
Taylor-Russell-Modell .................................................................................................................... 47
Kosten-Nutzenanalyse für Auswahlentscheidungen..................................................................... 49
Kosten-Nutzenanalyse von Interventionsmaßnahmen ................................................................. 53
Break-Even-Analyse ....................................................................................................................... 53
Beispiel zur monetären Nutzenanalyse ......................................................................................... 54
Sensitivitätsanalyse ....................................................................................................................... 54
Goal-Attainment-Scaling ................................................................................................................... 55
Delphi-Technik................................................................................................................................... 60
Maut-Technik .................................................................................................................................... 68
Meta-Analyse .................................................................................................................................... 72
2
,Historische Entwicklung
Die Evaluationsforschung ist eine relativ junge Disziplin der Psychologie mit Ursprung in den 60er Jah-
ren (USA). Es geht darum Effektivität und Effizienz (Wirksamkeit) von sozial- und bildungspoliti-
schen Maßnahmen zu prüfen.
⎯ Ökonomische Bereiche: Wirtschaftlichkeit eines Unternehmens
⎯ Psychologische Anwendungsfelder: Ziel- und Nutzenbestimmung von Interventionsprogrammen
⎯ Breites Spektrum an unterschiedlichen Forschungsmethoden der Sozialwissenschaften
In Deutschland wurde Evaluationsforschung unter anderem Namen betrieben, z.B. als Begleitfor-
schung für Schulversuche (Gesamtschuldebatte)
Boom der Evaluationsforschung
⎯ Evaluiert wird in nahezu allen gesellschaftlichen Bereichen wie Bildung, Verwaltung, Wirtschaft,
Verkehr oder Gesundheit
⎯ Evaluationsforschung spielt nicht nur in der Psychologie, sondern auch in Nachbarwissenschaften
wie Pädagogik, Politologie oder Ökonomie eine große Rolle
⎯ Evaluationsforschung ist ein interdisziplinäres Gebiet
Evaluationsmodelle
⎯ Anwendungsfokus
⎯ Methodenfokus
⎯ Bewertungsfokus
3
, Evaluation: Definition, Bestimmungsstücke usw.
Was ist Evaluation?
⎯ Lateinisch: valere = gelten, wert sein; kräftig sein, gesund sein
⎯ Bewertung von Sachverhalten
⎯ Vager und vielschichtiger Begriff; „so viele Definitionen wie Evaluatoren“, d.h. keine allgemein
gültige Definition
⎯ Ähnliche Begriffe:
⎯ Qualitätskontrolle
⎯ Wirkungskontrolle
⎯ Erfolgskontrolle
⎯ Effizienzforschung
⎯ Controlling im ökonomischen Bereich
Evaluationsforschung: Definition und Bestimmungsstücke
Suchman (1967): „Explizite Verwendung wissenschaftlicher Forschungsmethoden und -techniken für
den Zweck der Durchführung einer Bewertung”
Rossi & Freeman (1993): „Evaluationsforschung ist die explizite Verwendung wissenschaftlicher For-
schungsmethoden für den Zweck der Durchführung einer Bewertung von Interventionen (z.B. Thera-
piemaßnahmen).“; „Evaluationsforschung stützt sich auf Verfahren, die die Möglichkeit eines Bewei-
ses anstelle der reinen Behauptung bzgl. des Wertes und Nutzens derartiger Interventionen einräu-
men.“
Kennzeichen von Evaluationsforschung
⎯ Evaluation als Planungshilfe; hat etwas mit der Bewertung von Handlungsalternativen zu tun
⎯ Evaluation ist ziel- und zweckorientiert. Sie hat primär das Ziel praktische Maßnahmen zu überprü-
fen, zu verbessern oder über sie zu entscheiden
⎯ Evaluationsmaßnahmen sollen dem aktuellen Stand wissenschaftlicher Techniken und Forschungs-
methoden angepasst sein
Die drei Säulen der Evaluationsforschung
1. Versuchsplanung/ Methodenlehre
2. Diagnostik
3. Bewertungshilfen
Typisches Beispiel der Evaluationsforschung
Evaluation von Personalentwicklungsmaßnahmen (Morrow, Jarrett & Rupinski, 1997): verschiedene
Trainingsmethoden sollten unter Kosten-Nutzen-Aspekten bewertet werden
⎯ Kriterien:
⎯ Return of Investment (Verhältnis von monetärem Nutzen zu Kosten)
⎯ Break Even (Anzahl der Jahre, bis der Gewinn den Kosten entspricht)
⎯ Monetärer Gewinn infolge des Trainings
4
Evaluation: Definition, Bestimmungsstücke usw. ............................................................................... 4
Programmevaluation ........................................................................................................................... 5
Vergleiche ............................................................................................................................................ 6
Grundlagen vs. Evaluationsforschung ............................................................................................. 6
Typen von Programmevaluationen: Formativ vs. Summativ .......................................................... 7
Fremd vs. Eigenevaluation .............................................................................................................. 8
Praxis- vs. theorieorientierte Programmevaluation ........................................................................ 9
Dilemmata der Programmentwicklung ............................................................................................... 9
Zieldilemmata (Auftragsphase) ....................................................................................................... 9
Kriteriendilemmata (Planungsphase) .............................................................................................. 9
Designdilemmata (Planungs- und Durchführungsphase).............................................................. 10
Auswertungs- und Interpretations-dilemmata (Ergebnisphase) .................................................. 10
Standards der Programmevaluation ................................................................................................. 10
Nützlichkeitsstandards (Utility) ..................................................................................................... 11
Korrektheitsstandards (Propriety)................................................................................................. 11
Genauigkeitsstandards (Accuracy) ................................................................................................ 11
*Evaluations-Verantwortlichkeit (Evaluation Accountability Standards) ..................................... 12
Beispielstudie............................................................................................................................. 13
Workloadstudie ‚Psychologie‘ an der OVGU ..................................................................................... 13
Untersuchungsplanung ............................................................................................................... 19
Validitätsarten ................................................................................................................................... 19
Interne Validität ................................................................................................................................ 20
Gefährdungen der internen Validität ............................................................................................ 20
Evaluation psychologischer Interventionen .................................................................................. 22
Konstruktvalidität .............................................................................................................................. 28
Gefährdungen der Konstruktvalidität ........................................................................................... 28
Brunswik-Symmetrie ..................................................................................................................... 29
Treatment-Integrität ..................................................................................................................... 31
Statistische Validität .......................................................................................................................... 31
Bedrohungen der statistischen Validität ....................................................................................... 31
Effektstärkekonzept ...................................................................................................................... 33
Replikationskrise ............................................................................................................................... 37
Präregistrierung ................................................................................................................................. 39
1
, Externe Validität ................................................................................................................................ 40
Prinzipien der Generalisierbarkeit................................................................................................. 41
Bedrohungen der externen Validität............................................................................................. 41
Minimalanforderungen an klinische Wirksamkeitsstudien............................................................... 42
Entscheidungs-und Bewertungshilfen: Monetäre Ansätze ........................................................... 45
Kosten-Nutzen-Analyse ..................................................................................................................... 45
Taylor-Russell-Modell .................................................................................................................... 47
Kosten-Nutzenanalyse für Auswahlentscheidungen..................................................................... 49
Kosten-Nutzenanalyse von Interventionsmaßnahmen ................................................................. 53
Break-Even-Analyse ....................................................................................................................... 53
Beispiel zur monetären Nutzenanalyse ......................................................................................... 54
Sensitivitätsanalyse ....................................................................................................................... 54
Goal-Attainment-Scaling ................................................................................................................... 55
Delphi-Technik................................................................................................................................... 60
Maut-Technik .................................................................................................................................... 68
Meta-Analyse .................................................................................................................................... 72
2
,Historische Entwicklung
Die Evaluationsforschung ist eine relativ junge Disziplin der Psychologie mit Ursprung in den 60er Jah-
ren (USA). Es geht darum Effektivität und Effizienz (Wirksamkeit) von sozial- und bildungspoliti-
schen Maßnahmen zu prüfen.
⎯ Ökonomische Bereiche: Wirtschaftlichkeit eines Unternehmens
⎯ Psychologische Anwendungsfelder: Ziel- und Nutzenbestimmung von Interventionsprogrammen
⎯ Breites Spektrum an unterschiedlichen Forschungsmethoden der Sozialwissenschaften
In Deutschland wurde Evaluationsforschung unter anderem Namen betrieben, z.B. als Begleitfor-
schung für Schulversuche (Gesamtschuldebatte)
Boom der Evaluationsforschung
⎯ Evaluiert wird in nahezu allen gesellschaftlichen Bereichen wie Bildung, Verwaltung, Wirtschaft,
Verkehr oder Gesundheit
⎯ Evaluationsforschung spielt nicht nur in der Psychologie, sondern auch in Nachbarwissenschaften
wie Pädagogik, Politologie oder Ökonomie eine große Rolle
⎯ Evaluationsforschung ist ein interdisziplinäres Gebiet
Evaluationsmodelle
⎯ Anwendungsfokus
⎯ Methodenfokus
⎯ Bewertungsfokus
3
, Evaluation: Definition, Bestimmungsstücke usw.
Was ist Evaluation?
⎯ Lateinisch: valere = gelten, wert sein; kräftig sein, gesund sein
⎯ Bewertung von Sachverhalten
⎯ Vager und vielschichtiger Begriff; „so viele Definitionen wie Evaluatoren“, d.h. keine allgemein
gültige Definition
⎯ Ähnliche Begriffe:
⎯ Qualitätskontrolle
⎯ Wirkungskontrolle
⎯ Erfolgskontrolle
⎯ Effizienzforschung
⎯ Controlling im ökonomischen Bereich
Evaluationsforschung: Definition und Bestimmungsstücke
Suchman (1967): „Explizite Verwendung wissenschaftlicher Forschungsmethoden und -techniken für
den Zweck der Durchführung einer Bewertung”
Rossi & Freeman (1993): „Evaluationsforschung ist die explizite Verwendung wissenschaftlicher For-
schungsmethoden für den Zweck der Durchführung einer Bewertung von Interventionen (z.B. Thera-
piemaßnahmen).“; „Evaluationsforschung stützt sich auf Verfahren, die die Möglichkeit eines Bewei-
ses anstelle der reinen Behauptung bzgl. des Wertes und Nutzens derartiger Interventionen einräu-
men.“
Kennzeichen von Evaluationsforschung
⎯ Evaluation als Planungshilfe; hat etwas mit der Bewertung von Handlungsalternativen zu tun
⎯ Evaluation ist ziel- und zweckorientiert. Sie hat primär das Ziel praktische Maßnahmen zu überprü-
fen, zu verbessern oder über sie zu entscheiden
⎯ Evaluationsmaßnahmen sollen dem aktuellen Stand wissenschaftlicher Techniken und Forschungs-
methoden angepasst sein
Die drei Säulen der Evaluationsforschung
1. Versuchsplanung/ Methodenlehre
2. Diagnostik
3. Bewertungshilfen
Typisches Beispiel der Evaluationsforschung
Evaluation von Personalentwicklungsmaßnahmen (Morrow, Jarrett & Rupinski, 1997): verschiedene
Trainingsmethoden sollten unter Kosten-Nutzen-Aspekten bewertet werden
⎯ Kriterien:
⎯ Return of Investment (Verhältnis von monetärem Nutzen zu Kosten)
⎯ Break Even (Anzahl der Jahre, bis der Gewinn den Kosten entspricht)
⎯ Monetärer Gewinn infolge des Trainings
4
