Woran bemisst sich eine "gute" allgemeine Bevölkerungsumfrage? Analysen zu Ausmaß, Bedeutung und zu den Hintergründen von Nonresponse in zufallsbasierten Stichprobenerhebungen am Beispiel des ALLBUS

Abstract

Die Ausschöpfung gilt als eines der wichtigsten Merkmale zur Beurteilung der Qualität von repräsentativen allgemeinen Bevölkerungsumfragen. Anhand der Ergebnisse der 'best practice' ALLBUS-Erhebungen der Jahre 1994, 1996 und 2000 zeigen die Autoren, dass die üblicherweise geforderten hohen Ausschöpfungsraten bei genauer Dokumentation der Bearbeitung faktisch nicht realisierbar sind. Der vorliegende Beitrag geht der Frage nach, inwieweit eine gemeinhin als 'schlecht' angesehene Ausschöpfung auch tatsächlich zu einer mangelhaften Datenqualität führt. Dabei werden drei unterschiedliche Ansätze zur Beurteilung der Ergebnisqualität exemplarisch vorgeführt. In einem ersten Schritt wird ein Abgleich einiger soziodemografischer Randverteilungen der Stichprobe mit dem deutschen Mikrozensus als Referenzstatistik (Nettovalidierung) vorgenommen. In einem zweiten Schritt wird eine (multivariate) Nonresponse-Analyse durchgeführt. In einem dritten Schritt werden schließlich die Effekte der beim ALLBUS üblichen umfangreichen Nachbearbeitung von Adressen, für die bis dahin noch kein Interview realisierte werden konnte, dargestellt. Die Analysen zeigen, dass zufallsbasierte Stichproben auch bei einer Ausschöpfung von weniger als 50 Prozent keine nennenswerten systematischen Verzerrungen aufweisen müssen. Die isolierte Betrachtung der Ausschöpfung erweist sich von daher als ungeeigneter Prädikator für Ergebnisqualität. (ICA2)

"Sample response rates are usually considered to be one of the most important indicators of quality for representative general population surveys. The analysis of the 'best practice' ALLBUS surveys of 1994, 1996 and 2000 shows that the high response rates typically called for in this kind of survey stand in conflict with strict documentation requirements for the fielding process. The article discusses whether so-called 'poor' response rates really impair data quality. Three different examples are presented for approaching the problem of judging the quality of random samples. First, we adjust some sociodemographic marginal totals of the random probability sample to those of the German micro-census as a reference statistic (Nettovalidation). Second, we carry out a (multivariate) non-response-analysis. Finally, we present the effects of the post-processing (reworking) of addresses usually employed in ALLBUS surveys for addresses for which interviews have not yet been realized. Our analysis shows that random samples are not necessarily systematically biased, even if the sample response rate is less than 50 per cent. Focusing solely on the sample response rate thus proves to be an inappropriate indicator for data quality." (author's abstract)