Facebook
Twitter

Wirkungsorientierung in der Entwicklungszusammenarbeit

 

"Millions in Africa are poor today because of aid […]". Diese These vertritt Dambisa Moyo, eine aus Afrika stammende, in London lebende Bankmanagerin, in ihrem Buch "Dead Aid". Moyo kommt zu dem vernichtenden Schluss: "Aid has been, and continues to be, an unmitigated political, economic, and humanitarian disaster for most parts of the developing world". Die Autorin fordert deshalb, die Entwicklungszusammenarbeit (EZ) einzustellen – sowohl die technische Beratung in der technische Zusammenarbeit (TZ) als auch die finanziellen Investitionen in der finanziellen Zusammenarbeit (FZ).


Ist die Entwicklungszusammenarbeit ein nützliches Instrument zur Verbesserung der politischen, ökonomischen, sozialen und ökologischen Situation in den Entwicklungsländern? Darum wird – wieder einmal – heftig gestritten. Und im gleichen Atemzug taucht regelmäßig die Frage auf, warum die Befürworter der Entwicklungszusammenarbeit und die Legionen von nationalen und multilateralen, staatlichen und nicht-staatlichen Organisationen nicht einwandfrei belegen können, dass die Hilfe wirksam ist?

William Easterly, der selbst an der Wirksamkeit der Entwicklungszusammenarbeit zweifelt, beantwortet in seinem Buch "The White Man’s Burden" (2006) die Frage so: Es liegt daran, dass die Wirksamkeit der Entwicklungszusammenarbeit nicht ausreichend von unabhängigen Experten mit anspruchsvollen, angemessenen Methoden untersucht wird und dass die Geber-Organisationen nicht ausreichend für die Ergebnisse ihrer Arbeit verantwortlich gemacht werden.

Die Entwicklungszusammenarbeit kann es sich angesichts wachsender Armutsprobleme und steigender Forderungen nach mehr Hilfe nicht mehr leisten, kaum ernsthafte Wirkungsstudien vorlegen zu können. Der Legitimationsdruck in Politik und Öffentlichkeit wächst – und wird anhalten. Regierungsverantwortliche und Parlamentarier fordern deshalb mehr Transparenz und Wirkungsbelege. Sie lassen sich nicht mehr länger mit einzelnen anekdotischen "Erfolgsgeschichten" aus dem Projektalltag oder auf Selbstevaluationen oder -einschätzungen beruhenden Berichten abspeisen, mit denen sie den Bürgerinnen und Bürgern die Bedeutung der Entwicklungszusammenarbeit nicht vermitteln können.

Die internationale Gebergemeinschaft hat im letzten Jahrzehnt verstärkt auf diese Forderungen reagiert. In einer Reihe von internationalen Tagungen hat sie sich zur Wirkungsorientierung bekannt. In der Marrakesch-Erklärung von 2004 formuliert die Gebergemeinschaft: "[…] we need to align cooperation programs with desired country results, define the expected contribution of our support to country outcomes, and rely on – and strengthen – countries’ monitoring and evaluation systems to track progress and assess outcomes". Um dies zu ermöglichen, sollen Entwicklungszusammenarbeitsprogramme mit Ergebnisindikatoren ausgestattet werden. Ein solches "Results-Reporting-System" soll eine Steuerung nach Resultaten ("managing for results") fördern.

Die Erklärung von Paris von 2005 betont dieses Prinzip noch einmal: "Managing for results means managing and implementing aid in a way that focuses on the desired results and user information to improve decision making".


Wenn die Ausrichtung der Entwicklungszusammenarbeit an Wirkungen für die Steuerung und die Legitimierung der Entwicklungszusammenarbeit genutzt werden soll, müssen die für die Erfassung und Analyse notwendigen Instrumente entwickelt werden. Wie dies geschehen kann und soll, ist der Fokus einer breiten internationalen Debatte in der Entwicklungszusammenarbeit, die durch die Vorgaben der Millenniumserklärung noch an Schärfe und Bedeutung gewinnt. In dieser im September 2000 in New York von 189 Mitgliedsstaaten unterzeichneten Abschlusserklärung wurden acht Ziele formuliert, die erstmals mit 21 konkreten Zielvorgaben und 60 Indikatoren zu ihrer Messung ausgestattet wurden. Damit stellen die MDGs zum ersten Mal in der Entwicklungsgeschichte einen gemeinsamen, überprüfbaren Bezugsrahmen für die internationale Entwicklungszusammenarbeit dar. Die Aufgabe von Evaluationen in diesem Kontext ist es, zuverlässige Ergebnisse über Wirkungen von Entwicklungsmaßnahmen zur Verfügung zu stellen, welche Rechenschaftslegung aber auch Lernen ermöglichen. Seitdem werden die Instrumente wirkungsorientiertes Monitoring (als Steuerungsinstrument zur Ziel- und Wirkungserreichung) und Wirkungsevaluation (zum Nachweis von Wirkungen) verstärkt in der internationalen Entwicklungszusammenarbeit genutzt so wie auch die methodischen und konzeptionellen Ansätze von Wirkungsevaluationen diskutiert.

Herausforderungen der Wirkungsorientierung für die Evaluation

 

Wirkungsevaluationen sollen eine doppelte Aufgabe erfüllen: Zum einen sollen sie Aufschluss darüber geben, welche Wirkungen eingetreten sind. Zum anderen sollen sie die Ursachen dieser Wirkungen identifizieren. Konkret: Welche Entwicklungsmaßnahme hatte also welche Folge? Die erste Frage lautet also: Welche Veränderungen sind aufgetreten (Wirkungserfassung)? Die zweite Frage: Welche Ursachen sind dafür verantwortlich? Als erklärende Faktoren kommen neben den externen (politischen, gesamtwirtschaftlichen, kulturellen, sozialen, ökologischen, aber auch sektorspezifischen etc.) Rahmenbedingungen natürlich die eingesetzten Ressourcen (Inputs), die erbrachten Leistungen (Outputs) sowie der Prozess der Leistungserbringung selbst in Frage. Vor einer Evaluation muss festgelegt werden, welche der Wirkungen untersucht werden sollen.

Was ist Wirkung?

 

Nach wissenschaftlichem Verständnis sind Wirkungen alle Veränderungen, die nach einer Intervention (Maßnahme) auftreten. Hierzu gehören auch nicht erwartete und unerwünschte Wirkungen. Wirkungen umfassen somit die intendierten, nicht-intendierten, positiven so wie negativen, erwarteten oder unerwarteten Veränderungen, die in einer Wirkungsevaluation zu erfassen sind.

Zudem kann zwischen internen, bei der Durchführungsorganisation ausgelösten Wirkungen, und externen, in den Politikfeldern der Intervention und bei den Zielgruppen hervorgerufenen Wirkungen, unterschieden werden. Besonders die bei der Durchführungsorganisation ausgelösten Wirkungen sowie die organisationsspezifischen Rahmenbedingungen, die das Entstehen von internen und externen Wirkungen maßgeblich beeinflussen, finden im Rahmen von Evaluationen der Entwicklungszusammenarbeit oft nicht genügend Beachtung. Denn generell zeigt sich, dass die Komponenten "Ressourcen" und "Vernetzung der Durchführungsorganisationen" nicht nur für die unmittelbare Steuerung der Entwicklungsmaßnahme, sondern auch für die Wirkungen auf die Zielgruppen und die dauerhafte institutionelle Verankerung von zentraler Bedeutung sind.

Aus diesem Grund muss das Wirkungsmodell solche organisatorischen Komponenten berücksichtigen. Wie leistungsfähig sind die Organisationen, die mit der Durchführung der Entwicklungsmaßnahmen betraut sind? Die Kapazitäten von Organisationen, ihre Strukturen und Prozesse spielen eine entscheidende Rolle für den Erfolg und die Wirkungen von Maßnahmen. Systemische Organisationstheorien können Aufschluss über die Organisations-Umwelt-Beziehung (interne/externe Wirkungen) und über entscheidende Untersuchungsparameter für die interne Prozessbetrachtung innerhalb der Organisation geben.

Ein solches Modell hat Stockmann entwickelt und in verschiedenen Evaluationskontexten angewendet. Dabei wird deutlich, dass Faktoren wie interne Zielakzeptanz, Personalstruktur und Qualifikationen, Organisationsstruktur, finanzielle Ressourcen und technische Infrastruktur einen maßgeblichen Einfluss auf die Wirkung haben. Eine solide Organisationsanalyse, die Aufschluss darüber gibt, welche internen, organisationsspezifischen Faktoren zur Wirkung beigetragen haben bzw. beitragen können, gehört daher zur Wirkungsmessung und ist im Wirkungsmodell aufzunehmen.

Interne und externe Wirkungen entfalten sich in der Veränderung von Strukturen, Prozessen oder individuellen Verhaltensweisen (vgl. Abb. 1). Wenn die Wassergesetzgebung verändert wird, um die Wasserversorgung zu verbessern, entspricht das beispielsweise einem Strukturwandel im Wassersektor. Wenn etwa Fortschritte bei der Wasserbereitstellung erkennbar sind, sind das Prozesswirkungen. Zu den Veränderungen individueller Verhaltensweisen gehört etwa, dass Menschen hygienische Vorsorgemaßnahmen für sauberes Trinkwasser ergreifen.

Weitere Differenzierungsmöglichkeiten stellen die Art der Wirkung, ihre Dauer und die Ebene des Auftretens dar. Es können beispielsweise ökonomische, soziale, ökologische, kulturelle und politische Wirkungen unterschieden werden. Oder aber kurz-, mittel- oder langfristige Wirkungen, die besonders in der internationalen entwicklungspolitischen Diskussion zu Wirkungen eine zentrale Rolle spielten. Schließlich wird noch zwischen Wirkungen auf der gesellschaftlichen Ebene (Makroebene), in Organisationen oder Gruppen (Mesoebene) oder bei einzelnen Individuen (Mikroebene) unterschieden. Insbesondere diese Differenzierung hat in den letzten Jahren im Rahmen der Diskussion zur nachhaltigen Entwicklung an Bedeutung gewonnen.

Methodische Herangehensweisen zur Wirkungsmessung

 

Welche methodischen Herangehensweisen zur Wirkungsmessung sind notwendig? Und welche Wirkungen stehen im Fokus der Wirkungsmessung? Es gibt zwei Herangehensweisen, die sich durch ein breites und ein enges Wirkungsverständnis unterscheiden. Das breite, in der wissenschaftlichen Diskussion zur Wirkungsmessung im Rahmen von Evaluationen der technischen Zusammenarbeit (TZ) vorherrschende Wirkungsverständnis umfasst das Messen aller auf der Mikro-, Meso- und Makroebene auftretenden Wirkungen. Das enge, zurzeit in der aktuellen internationalen Diskussion vorherrschende Wirkungsverständnis hingegen umfasst das Messen von Mittel- und Langzeit-Wirkungen auf der Mikro-, Meso- und Makroebene.

1. Die wissenschaftliche Diskussion zur Wirkungsmessung im Rahmen von Evaluationen der technischen Zusammenarbeit bezeichnet alle auftretenden Veränderungen eines Zustands als Wirkungen und subsumiert diese unter dem Begriff "Impact". Innerhalb des Impacts wird noch zusätzlich der Outcome unterschieden. Das ist der Teilbereich der Wirkungen, der kausal auf die Interventionsmaßnahme zurückzuführen ist (vgl. Abbildung 2).

Klassische Wirkungskette

In der bisher gebräuchlichen Wirkungsmessung der Entwicklungszusammenarbeit werden alle Veränderungen eines Zustands als Wirkungen angesehen (Impact) und in ihrer Gesamtheit in die Evaluation einbezogen. Der Bereich der Wirkungen, der kausal auf die Interventionsmaßnahme zurückzuführen ist (Outcome) wird als Teil des Impacts wahrgenommen.

Idealerweise sollen möglichst alle auftretenden Wirkungen (= Bruttowirkungen/Impact) erfasst werden, die dann um Wirkungen anderer Faktoren und Designeffekte bereinigt werden. Als Ergebnis erhält man alle auf die Entwicklungsmaßnahme zurückzuführenden Wirkungen (= Nettowirkungen/Outcome). Umfassende Wirkungsevaluationen untersuchen somit weitaus mehr als lediglich die Zielerreichung oder die kurzfristigen Effekte einer Maßnahme auf die Zielgruppe.

Um den Impact zu messen, insbesondere um strukturiert nach intendierten und nicht-intendierten Wirkungen zu suchen, ist der Einsatz unterschiedlicher und zum Teil aufwändiger sozialwissenschaftlicher Methoden nötig. Dazu gehören die in der Entwicklungszusammenarbeit diskutierten "anspruchsvollen Methoden zur Wirkungsmessung" wie

  1. Hypothesengeleitete Ursache-Wirkungsuntersuchung,

  2. Quasi-Experimentelle Forschungsdesigns,

  3. Multi-Methodenansatz,

  4. Trichteransatz,

  5. Anwendung fortgeschrittener statistischer Analyseverfahren.

Diese Methoden wurden bei der Evaluation von Wirkungen der deutschen Unterstützung der Berufsbildung in Ländern, in denen Entwicklungszusammenarbeit stattfindet, und zur Messung von Wirkungen und Nachhaltigkeit von Maßnahmen in der Entwicklungszusammenarbeit verwendet. Zusätzlich wurde ein Evaluationsleitfaden zur strukturierten und systematischen Messung von Wirkungen entwickelt. Neue Veröffentlichungen aus der Evaluationsforschung greifen diese Methoden ebenfalls auf.

2. Die zurzeit stattfindende internationale Diskussion zur Wirkungsmessung im Rahmen von Evaluationen der Entwicklungszusammenarbeit stützt sich auf ein engeres, nur auf das Messen von mittel- und langfristigen Wirkungen bezogenes Begriffsverständnis. Der Begriff Impact umfasst hierbei ausschließlich die langfristigen, übergeordneten entwicklungspolitischen Wirkungen. Die der Logik der Entwicklungszusammenarbeit zugrunde liegende Wirkungskette differenziert demnach die Ebenen Input, Output, Outcome und Impact, wobei Outcome nicht ein Teilbereich des Impacts ist. "Impact-Evaluationen" sollen zur Messung der Wirkungen allerdings auch den mittelfristigen Outcome berücksichtigen (vgl. Abb. 3). In der internationalen Diskussion wird betont, dass Wirkungsevaluationen im Kontext der Rahmenbedingungen der Vorhaben nicht nur die Mikroebene, sondern auch die Makroebene erfassen müssen, beispielsweise Armutsreduzierung, Wachstum des Pro-Kopf-Einkommens etc. (allgemein der Beitrag zu den MDGs).

Zielebenen von Wirkungsevaluationen

Ein neueres Modell der Wirkungsmessung der Entwicklungszusammenarbeit bezieht lediglich mittel- und langfristige Auswirkungen in die Evaluation mit ein. Langfristige Effekte werden als Impact, kurz- und mittelfristige Ziele als Output bezeichnet (Quelle: Caspari/Barbu 2008).

Methodische Schwerpunkte der international von den Organisationen der Entwicklungszusammenarbeit diskutierten Impact-Evaluation stellen folgende Aspekte dar:

  1. ein theoriebasierter Ansatz, d.h. hypothesengeleitete Ursache-Wirkungsuntersuchung unter Berücksichtigung der Kontextfaktoren,

  2. die Berücksichtigung des Kontrafaktischen, also dessen, was ohne die Entwicklungsmaßnahme passiert wäre,

  3. ein Multi-Methodenansatz,

  4. sowie die Anwendung fortgeschrittener statistischer Datenanalyseverfahren.

Im Vergleich zur wissenschaftlichen Diskussion bezüglich Wirkungsmessung wird der Schwerpunkt allerdings auf die experimentelle und quasiexperimentelle Messung des Kontrafaktischen und statistischer Auswertungsmethoden, also multivariater Analysemethoden, gelegt.

Schlussbetrachtung


Eine fundierte Wirkungsevaluation sollte die in der wissenschaftlichen Praxis und in der aktuellen internationalen Diskussion der Entwicklungszusammenarbeitsorganisationen angeführten Aspekte der Wirkungsevaluation in einem adäquaten Evaluationsdesign berücksichtigen. Hierzu gehören das Aufstellen theoriebasierter Ursache-Wirkungszusammenhänge, die Anwendung adäquater Forschungsdesigns zur Wirkungsmessung, die Nutzung eines Multi-Methoden-Ansatzes sowie eine den Fragestellungen angemessene Datenauswertung, die sich an den hypothetisch angenommenen Kausalbeziehungen orientiert. Dabei sollten sowohl die methodischen Anforderungen als auch die gegebenen Möglichkeiten im Kontext der Entwicklungszusammenarbeit in Einklang gebracht werden. Neben der Bewertung der direkten Wirkungen sollten die indirekten und hoch aggregierten Wirkungen ebenfalls berücksichtigt werden.

Hierfür sollten in Zukunft bereits bei der Planung von Entwicklungsmaßnahmen mögliche Wirkungsevaluationen mit berücksichtigt werden. So ist schon in der Planungsphase eine Baselinestudie, die die Gegebenheiten/Ausgangsbedingungen mit Ziel- und Vergleichsgruppen misst, durchzuführen. Auf deren Ergebnisse kann dann im Rahmen der Wirkungsevaluation für die Einschätzung des Wirkungsausmaßes zurückgegriffen werden. Darüber hinaus sollten die möglichen Untersuchungsdesigns für Wirkungsmessung in der Projektdurchführung und im Rahmen des Monitorings angemessen berücksichtigt werden. Dies trägt dazu bei, dass die Wirkungsbetrachtung und somit auch Wirkungsevaluationen zum integralen Bestandteil von Entwicklungsmaßnahmen werden und die Frage "Was bewirkt die Entwicklungszusammenarbeit?" besser als bisher beantwortet werden kann. Wenn besser als bisher belegt werden kann, welche positiven Wirkungen durch entwicklungspolitische Maßnahmen verursacht werden, dann dient dies nicht nur der Projekt- und Programmsteuerung, sondern auch der besseren Legitimierung der Entwicklungszusammenarbeit.

Literatur / Links

 

Caspari, Alexandra (2009): 'Rigorose' Wirkungsevaluation – methodische und konzeptionelle Ansätze der Wirkungsmessung in der Entwicklungszusammenarbeit. In: Zeitschrift für Evaluation, Sonderheft Wirkungsevaluation. Im Erscheinen.

Caspari, Alexandra / Barbu, Ragnhild (2008): Wirkungsevaluierungen: Zum Stand der internationalen Diskussion und dessen Relevanz für Evaluierungen der deutschen Entwicklungszusammenarbeit. Evaluation Working Papers. Bonn: Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung.

Caspari, Alexandra (2004): Evaluation der Nachhaltigkeit von Entwicklungszusammenarbeit – Zur Notwendigkeit angemessener Konzepte und Methoden. Wiesbaden.

Caspari, Alexandra u.a. (2000): Langfristige Wirkungen deutscher Entwicklungszusammenarbeit und ihre Erfolgsbedingungen. Eine Ex-post-Evaluierung von 32 abgeschlossenen Projekten (BMZ Spezial Entwicklungszusammenarbeit Nr. 19; Bonn.

Centre for Global Development (CGD) (2006): When Will We Ever Learn? Improving Lives through Impact Evaluation. Washington, D.C
.

Meyer, Wolfgang (2007): Datenerhebung: Befragungen -Beobachtungen - Nicht-reaktive Verfahren. In: Stockmann, Reinhard (Hg.): Handbuch zur Evaluation: eine praktische Handlungsanleitung. Münster.

Mosley, Paul (1986): Aid-Effectiveness: The Micro-Macro Paradox. In: IDS Bulletin (Institute of Development Studies, University of Sussex), 17 (2), S. 22-35.

OECD (2006): Paris Declaration on Aid Effectiveness
. (German Translation)

OECD/DAC (2002): Glossary of Key Terms in Evaluation and Results Based Management.


Reade, Nicolà (2008): Konzept für alltagstaugliche Wirkungsevaluation in Anlehnung an Rigorous Impact Evaluations. CEval Arbeitspapier 14.


Stockmann, Reinhard (2008): Evaluation and Quality Development: Principles of Impact-Based Quality Management. Frankfurt.


Stockmann, Reinhard (Hg.) (2007): Handbuch zur Evaluation: Grundlagen und Praxis. Münster.


Stockmann, Reinhard (2006): Evaluation und Qualitätsentwicklung – eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Münster.

Stockmann, Reinhard (2000): Evaluation staatlicher Entwicklungspolitik. In: Stockmann, Reinhard (Hg.): Evaluationsforschung. Opladen.

Stockmann, Reinhard / Meyer, Wolfgang / Krapp, Stefanie / Koehne, Gerhard (2000b): Wirksamkeit deutscher Berufsbildungszusammenarbeit. Ein Vergleich zwischen staatlicher und nicht-staatlicher Entwicklungszusammenarbeit mit der VR China. Wiesbaden.

Stockmann, Reinhard (1996): Die Wirksamkeit der Entwicklungshilfe – Eine Evaluation der Nachhaltigkeit von Programmen und Projekten. Opladen.

Stockmann, Reinhard (1992): Die Nachhaltigkeit von Entwicklungsprojekten – Eine Methode zur Evaluierung am Beispiel von Berufsbildungsprojekten. Opladen.

 

Stand: November 2009

Artikel als PDF

 

 

Umbau Ost und demografischer Wandel

Podiumsdiskussion mit Reiner Klingholz am 2. Mai in Berlin

Von Kirchtürmen und Netzwerken

Studie erklärt, wie engagierte Bürger das Emsland voranbringen