Evaluating active labour market policies evaluations

Abstract

"In diesem Papier nehmen wir eine Meta-Evaluation der internationalen Literatur zur Evaluationsforschung aktiver Arbeitsmarktpolitik vor. Zahlreiche Versuche wurden unternommen, um den Nettoeffekt von Reintegrationsmaßnahmen auf die individuelle Arbeitszugangschance abzuschätzen. Somit ergibt sich die Frage, welche Schlussfolgerungen aus der Literatur gezogen werden können. Wie groß ist der Nettoeffekt von Reintegrationsmaßnahmen? Unser Papier unterscheidet sich von früheren Meta-Analysen zur Evaluation des Effekts aktiver Arbeitsmarktpolitik dahingehend, dass wir versuchen, Interferenzen hinsichtlich der Größe des Nettoeffekts auszumachen. In dieser Hinsicht analysieren wir die Größenverteilung der Nettoeffektschätzungen, die sich aus der inter-nationalen Evaluationsliteratur ergeben. In unserer Analyse unterscheiden wir zwischen verschiedenen Typen von Wiedereingliederungsmaßnahmen. Darüber hinaus nehmen wir Regressionsanalysen vor, in denen wir den geschätzten Effekt, der in einzelnen Untersuchungen ermittelt wurde, mit dem Typ der Maßnahme, dem Arbeitsmarktkontext und den Charakteristika der verwendeten Evaluationsmethode erklären. Ein Problem der Analyse liegt darin, dass unterschiedliche Studien unterschiedliche Effekte messen. Den theoretischen Rahmen von Risikomodellen nutzend analysieren wir, in welchem Ausmaß die verschiedenen Ansätze miteinander in Bezug gesetzt werden können und ob es sinnvoll ist, diese verschiedenen Untersuchungen in einer Meta-Analyse zu kombinieren. Die Ergebnisse belegen, dass der Nettoeffekt von Reintegration im Durchschnitt vergleichsweise gering ist. Als ein Ergebnis kann festgehalten werden, dass sich die Reintegrationschancen wohl kaum um mehr als 3 Prozentpunkte erhöht haben. Am überzeugendsten stellt sich der Fall bei beruflicher Aus- und Weiterbildung sowie bei der Arbeitsberatung dar: mit durchschnittlichen Nettoeffekten, die von 5,7 bis 9,7% reichen. Die positiven Ergebnisse für Ausbildung sind überraschend. Allerdings enthält unser Sample kaum experimentelle Evaluationen von solchen Maßnahmen, die üblicherweise als die verlässlichsten Evaluationen gelten. Generell haben wir herausgefunden, dass die Nettoeffektschätzung dann geringer ist, sobald ein Experiment für die Evaluation eingesetzt wurde. Deshalb können die Ergebnisse hinsichtlich Aus- und Weiterbildung zu rosig anmuten. Wenn wir die verwendete Methode berücksichtigen, stellt sich Ausbildung weniger gut dar, während Sanktionen (die als ein Maßnahmentyp behandelt werden) besser erscheinen. Lohnkostenzuschüsse und Arbeitsbeschaffungsmaßnahmen erwiesen sich als mangelhaft. Ferner haben wir herausgefunden, dass der Nettoeffekt aktiver Arbeitsmarktpolitik von der sozio-ökonomischen Situationen abhängt: Er ist tendenziell bei niedriger Arbeitslosigkeit geringer als während einer Rezessionsphase. Wir betrachten dieses Papier als einen ersten Schritt und möchten weitere Literatur auswerten. In jüngster Zeit sind etliche Studien erschienen, die eine mehr entwickelte Methodologie zur nichtexperimentellen Evaluation benutzen. Es wird interessant werden zu sehen, in welchem Ausmaß die Einbeziehung dieser Studien in die Meta-Analyse die Ergebnisse verändert." (Autorenreferat

"In this paper we carry out a meta evaluation of the international evaluation literature regarding active labour market policies (ALMPs). Many attempts have been made to estimate the net impact of reintegration measures on the individual job entry chance. So, the question is what conclusions can be drawn from the literature. How big is the net effect of reintegration measures? Our paper differs from earlier meta analyses of ALMP impact evaluations in the fact that we try to make inferences about the size of the net effect. To that end we analyze the size distribution of the net impact estimates resulting from the international evaluation literature. In our analysis we distinguish between different types of reintegration measures. Furthermore, we carry our regression analyses in which we explain the estimated effect found in individual studies from the type of measure, the labour market context and characteristics of the evaluation method used. A problem with the analysis is that different studies measure different things. Using the theoretical framework of hazard models, we analyze to what extent the different approaches can be related to each other and whether it makes sense to combine the different studies in one meta analysis. The results indicate that on average the net impact of reintegration measure is fairly small. As a result of reintegration job entry chances are probably not increased by more than 3 percentage points on average. The case is most convincing for training and counseling with average net effects ranging from 5.7 to 9.7 percentage points. The positive results for training are surprising. However, our sample hardly contains experimental evaluations of training, which are usually seen as the most reliable evaluations. Overall we find that the net effect estimate tends to be smaller if an experiment is used for the evaluation. Hence, the results for training may be too rosy. If we account for the method used training comes out less well, while sanctions (which are treated as one type of measures) perform better. Wage subsidies and job creation come out poorly. We also find that the net impact of ALMPs depends on the socio-economic situation: it tends to be lower when unemployment is low than during a recession period. We see this paper as a first step and want to exploit the literature further. Recently, a lot of studies using a more developed methodology for non-experimental evaluation have appeared. It will be interesting to see to what extent inclusion of these studies in the meta analysis will alter the results." (author's abstract)