Outcome Reporting. Schritt für Schritt – Wirkung sichtbar machen

Die Grundlage der Publikation bilden die Ergebnisse einer Wirkungsanalyse von Programmen und Projekten der Organisation Education Y (Initiative der Vodafone Stiftung), mit denen die Bildungsbiografien von Kindern und Jugendlichen maßgeblich positiv beeinflusst werden sollen. Education Y startete zunächst als Projekt buddY unter der Trägerschaft des gleichnamigen Vereins buddY e.V.

In etwa fünf Jahren wurde die Methode des „Outcome Reporting“ für Education Y konzipiert und erstmalig erprobt. Damit sollen sollen sowohl die Gelingensbedingungen für die Programmpraxis als auch die Effekte auf der Ebene der Zielgruppen systematisch erfasst werden.

Mit der Publikation wird angestrebt, Outcome Reporting als Methode der Wirkungsanalyse auch anderen Akteuren und Organisationen zugänglich zu machen. Es wird ein Leitfaden zur Umsetzung in zehn Schritten anhand eines praktischen Beispiels dargestellt, um Interessierten eine praktische Anleitung an die Hand zu geben, z.B. wenn sie

• in Organisationen arbeiten, die soziale Projekte und Programme anbieten oder fördern und erfahren möchten, welche Effekte diese bei den Zielgruppen haben,
• einen leichten Einstieg in das Thema Wirkungsorientierung finden möchten,
• ihre Projekte oder Programme evaluieren wollen, aber dafür nur wenig Geld aufwenden können oder möchten,
• sich nicht sicher sind, ob eine Evaluation mit einem externen, wissenschaftlichen Partner wirklich das erfasst, was das Projekt oder Programm im Kern ausmacht,
• auf der Suche nach einer Methode sind, die dabei unterstützen kann, die Meinungen von Zielgruppen zur Wirkung von Programmen und Projekten zu erfassen,
• neugierig sind, wie die qualitative Methode explorativer Interviews relativ einfach mit der quantitativen Methode der Fragebogenbefragung kombiniert werden kann, um sowohl Erkenntnisse „in der Tiefe“ als auch „in der Breite“ zu gewinnen.

Was ist die Methode „Outcome Reporting“?

Der Name Outcome Reporting leitet sich aus der Sozialforschungsformel „I-O-O-I“ ab, eine Abkürzung für:

• Input (Investion, um einen Effekt zu erzielen, z.B. Arbeit, Geld, Zeit)
• Output (konkretes und quantitativ darstellbares Ergebnis)
• Outcome (spürbare Veränderung für eine bestimmte Zielgruppe, die oft nur qualitativ erfasst werden kann)
• Impact (Gesamtheit der Veränderung in einer Population)

Da die Methode nach Gelingensbedingungen für die Programmpraxis und nach Effekten auf Ebene der Zielgruppen forscht, verbleibt die Analyse auf der Outcome-Ebene und tangiert die Impact-Ebene nur teilweise. Das Outcome Reporting ist ein Methodenmix aus qualitativen und quantitativen Evaluationselementen zur Darstellung von intendierten und nicht-intendierten Wirkungen aus Perspektive der Zielgruppen. Die Methode Outcome Reporting umfasst vier aufeinanderfolgende Kernelemente:

1. Semistrukturierte, qualitative Fokusgruppeninterviews,  Auswertung nach Standards der qualitativen Sozialforschung
2. Konstruktion eines Fragebogens auf Basis der qualitativen Daten, Abgleich der Items mit der Wirkungslogik
3. Quantitative Datenerhebung mit Fragebogen, Stabilisierung der qualitativen Daten
4. Rückschlüsse auf Wirkung, Weiterentwicklung

Leitfaden zur Umsetzung von Outcome Reporting als Methode der Wirkungsanalyse

Im Umsetzungsprozess werden folgende zehn Schritte benannt:

1. Wirkungslogik und Wirkungsplan

Am Anfang jeder wirkungsorientierten Maßnahme sollte ein Plan stehen, der konkret darlegt, welche Ressourcen (Input), Maßnahmen (Output) und Effekte bei den Zielgruppen (Outcome) zur Erreichung der übergeordneten Zielvision (Impact) führen. Ein solches Vorgehen kann die Abgrenzung und Priorisierung von Zielgruppen unterstützen, den Blick für die Logik des eigenen Handelns schärfen und einen übersichtlichen Ausgangspunkt bieten, um sich mit konkreten Indikatoren für den Erfolg einer Maßnahme auseinanderzusetzen.

• Evaluationsplanung: Eine gut ausformulierte Wirkungslogik ermöglicht eine praktische Übersicht über die Primär- und Sekundärzielgruppen, die Maßnahmen eines Programms (Output) und die erwarteten Ergebnisse (Outcome). Dies hilft dabei, eine Wirkungsanalyse frühzeitig zu planen.
• Erwartungsmanagement und Anpassung: Im Abgleich zwischen den Ergebnissen der Wirkungsanalyse und der Wirkungslogik kann auf einen Blick erfasst werden, bei welchen erwarteten Wirkungen die Ziele erreicht wurden und wo Anpassungen vorgenommen werden müssen.
• Intendierte und nicht-intendierte Effekte: Zudem kann im Abgleich zwischen den Ergebnissen der Wirkungsanalyse und der Wirkungslogik auf einen Blick klar werden, wo die Maßnahmen zu unvorhergesehenen Ergebnissen geführt haben.
• Kommunikation: Beim Reporting, z.B. nach Social Reporting Standard (www.social-reporting-standard.de) ist eine Gegenüberstellung von erwarteten Wirkungen und erzielten Wirkungen eines der zentralen Anliegen.

2. Wirkungsmonitoring

Es sollte zwischen Wirkungsmonitoring und Wirkungsanalyse unterschieden werden: Während die Wirkungsanalyse am Ende eines Projektes untersucht, welche Ergebnisse erzielt worden sind, dient das Monitoring der formativen Begleitung eines Projekts. Deshalb schließt sich die Planung des Monitorings in der Regel an die Erstellung einer Wirkungslogik an. Das Monitoring soll vor allem die Wirkungsentwicklung transparent machen. Es geht darum, sich systematisch Erkenntnisse über die Praxis des laufenden Projektes zu verschaffen, um überprüfen zu können, ob sich dieses sich wie geplant im Sinne der formulierten Ziele entwickelt oder ob möglicherweise steuernd eingegriffen werden sollte.

3. Wirkungsanalyse

Es wird empfohlen, möglichst früh einen Logistikplan für die Wirkungsanalyse zu erstellen. Dabei müssen vier grundsätzliche und miteinander zusammenhängende Herausforderungen bewältigt werden: Zeitablauf- und Terminplanung, Personal, Kosten und Kommunikation.

4. Erstellen eines Interviewleitfadens

Ein Kernelement des Outcome Reporting sind die Fokusgruppeninterviews. Eine Fokusgruppe ist definiert als Gruppe mit maximal sechs Teilnehmerinnen und Teilnehmern einer spezifischen Zielgruppenkohorte. Die Gruppe sollte im Hinblick auf die Programmziele möglichst repräsentativ sein (z.B. in Bezug auf Alter, Geschlecht, Bildungshintergrund). Damit die Interviews möglichst datenergiebig sind, sollten sie nach der semistrukturierten Interviewmethodik gestaltet werden. Das bedeutet, dass ein Interviewleitfaden erstellt wird, darüber hinaus jedoch noch weitere, vertiefende Fragen gestellt werden können. Beim Erstellen des Leitfadens können die Wirkungslogik und gegebenenfalls vorhandene Ergebnisse des Wirkungsmonitorings wertvolle Quellen sein, um Themenfelder zu identifizieren, nach denen gefragt werden sollte.

5. Durchführen der Fokusgruppeninterviews

Empfohlen werden semi-strukturierte, explorative Interviews. Dabei gibt es die klar festgelegte Rolle des Interviewdurchführenden. Diese Person kann einen direkten Programm-/Projektbezug haben oder eine externe Kraft sein. In der Praxis hat sich nach den Ergebnissen der Studie eine Art Mischmodell bewährt: Ein Tandem aus einer projektnahen und einer projektfernen Person führt dabei die Fokusgruppeninterviews durch. Für die Durchführung der Interviews können aber auch projektferne Personen eingesetzt werden, die eine Kurzeinführung erhalten und damit über bestimmte Aspekte des Projekts auskunftsfähig sind.

6. Transkribieren der Interviews

Es sollte eine ausführliche Transkription folgen, die keine wortwörtliche Wiedergabe sein muss. Das heißt, die Antworten der Interviewten sollten sinngemäß und nah an deren Formulierungen festgehalten werden. Hilfreich ist auch ein Abgleich von Daten (z.B. im Tandem). Es ist wichtig, möglichst alle Aussagen zu berücksichtigen. Wenn sich mehrere Aussagen sinngemäß ähneln, sollte vermerkt werden, dass die jeweilige Aussage mehrfach getroffen wurde.

7. Erstellen eines Fragebogens

Die Besonderheit der Methode Outcome Reporting ist die Kombination aus qualitativen Interviews und einer Befragung per Fragebogen. Aus den Kernaussagen der Interviews wird im nächsten Schritt ein Fragebogen generiert, in dem die Kernaussagen aufgelistet und jeweils mit einer sogenannten Likert-Skala versehen werden. Die Likert-Skala gibt den Grad der Zustimmung zu einer Aussage an (Kategorien „stimme zu“, „stimme weniger zu“, „stimme teilweise zu“, „stimme zu“, „keine Angabe“). Der Fragebogen sollte einem bestimmten Aufbau folgen: 1. Begrüßung der Teilnehmenden, Kontext und Ziele des Fragebogens, 2. Erklärung des Aufbaus des Fragebogens, 3. Angaben von Daten, die für die Auswertung gebraucht werden (unter Wahrung der Anonymität), 4. Kernaussagen mit den Likert-Skalen, 5. Dank an die Teilnehmenden.

8. Auswertung des Fragebogens  

Das Outcome Reporting zielt darauf, intendierte und nicht-intendierte Wirkungen aus Sicht der Zielgruppen zu erheben und ihre Stabilität zu bestimmen. Daher wird in der Auswertung für jede Aussage ein Gesamtmittelwert gebildet. Durch die Werte, die den Antworten auf der Likert-Skala zugeordnet worden sind, lässt sich ein Durchschnittsmittelwert pro Aussage errechnen.

9. Rückschlüsse auf die Wirksamkeit des Projekts

Es wird als wichtig erachtet, die Rückschlüsse aus den Antworten im Diskurs mit anderen zu ziehen, beispielsweise in einer Projektgruppe. Es könnte z.B. dieselbe Gruppe sein, die die Wirkungsplanung vorgenommen hat. Schlussfolgerungen sollten auch nicht allzu aktionistisch gezogen werden, da die Ergebnisse des Outcome Reporting insgesamt auf sehr konservativ ermittelten Referenzwerten basieren. Ganz besonders wichtig ist in diesem Schritt demnach auch eine Rückkopplung mit den Ergebnissen des Wirkungsmonitorings.

10. Kommunikation der Ergebnisse und Entwiclungsplanung

Die Ergebnisse sollten in einem Abschlussbericht festgehalten werden, der jedoch insofern zu relativieren ist, als dass es sich beim Outcome Reporting nicht um eine wissenschaftliche Evaluationsmethode handelt, die objektiv evidenzbasierte Ergebnisse produziert, sondern um eine Selbstevaluationsmethode. Die Modularität der Methode eignet sich aber für eine beliebige Fortführung der Datenerhebung. So können beispielsweise Ergebnisse eines Jahres an einem Standort mit Ergebnissen fünf Jahre später oder die Ergebnisse zweier Standorte miteinander verglichen werden. Aufgrund der geringen Kosten und des vergleichsweise niedrigen Aufwands kann die Methode auch als fortlaufendes Analysetool eingesetzt werden, das die Daten mit jeder Durchführung weiter stabilisiert. Auch können die Ergebnisse für größer angelegte Evaluationsstudien für die Formulierung von Hypothesen genutzt werden.

Fazit

Die Autorin nennt folgende Punkte, die den Mehrwert der Methode Outcome Reporting ausmachen:

• explizites Ausformulieren von Zielen und erwarteten Ergebnissen eines Programms,
• ergebnisoffene, semi-strukturierte Fokusgruppeninterviews mit kleinen Teilen der Zielgruppen in Hinblick auf die von ihnen wahrgenommenen Ergebnisse des Programms,
• Konstruktion von Fragebögen auf Basis der Interviewergebnisse und der vorab formulierten Ziele,
• Fragebogenbefragung mit großen Teilen der Zielgruppen und die quantitative Auswertung der Ergebnisse.

Es werden aber auch Grenzen der Methode benannt:

• Da die Zuschreibung der Effekte auf die Programmmaßnahmen oder Projekte subjektiv durch die Zielgruppen erfolgt, müsse man sich darüber bewusst sein, dass die Ergebnisse nicht dem wissenschaftlichen Evaluationsgütekriterium der „Objektivität“ entsprechen. Dennoch seien sie wertvoll, da es wichtig ist zu wissen, ob sich Personen, die mit einem Programm oder Projekt erreicht werden solten, auch tatsächlich erreicht fühlen.
• Wie alle Methoden der Selbstevaluation sei auch das Outcome Reporting mit dem Argument angreifbar, Daten würde dadurch „geschönt“ dargestellt. In Kombination mit einer guten Wirkungslogik und einer hohen Transparenz im Prozess könne diesem Argument aber entgegengewirkt werden.

Obwohl die Methode sehr praktisch und leicht durchführbar sei, brauche sie dennoch Zeit und auch etwas Geld. Doch weise sie insgesamt eine hohe Kosten-Nutzen-Effizienz auf.