Affirmative Repräsentativitäts"beweise" oder Test konkreter Hypothesen zu Verteilungsabweichungen?

Abstract

In der Umfrageforschung wird traditionell versucht, die Qualität realisierter Stichproben durch Vergleiche mit amtlichen Daten zu verifizieren. Dies basiert auf einer fragwürdigen Logik. Im Gegensatz dazu wurde von uns 1992 eine Falsifikation konkreter Hypothesen über die Effekte demographischer und sozioökonomischer Variablen auf die Teilnahmewahrscheinlichkeit versucht. Wegen ihrer Größenordnung können die gefundenen Verteilungsabweichungen nicht durch unscharfe Kategorien oder Item-Nonresponse erklärt werden. Weiterhin erweisen sich die Ergebnisse auch bei Berücksichtigung der unterschiedlichen Erhebungsdesigns als stabil. Erhebungen bei Personen, die an Umfragen nicht teilnehmen, stoßen ihrerseits auf Nonresponse-Probleme. Vergleiche von Umfrageergebnissen mit amtlichen Daten bleiben deshalb auch in Zukunft unverzichtbar. Besondere Beachtung sollte dabei den Verteilungen der Merkmale Haushaltsgröße und Bildungsabschluß geschenkt werden. Eine Replikation unserer Untersuchung mit anderen Bevölkerungsumfragen ist wünschenswert.

There is a tradition in survey research to verify the quality of a sample by comparing its marginals with official statistics. Such a procedure is based upon a dubious logic. In contrast, in our 1992 paper we have attempted to falsify specific hypotheses on the effects of demographic and socio-economic variables on the probability of survey participation. The deviations of the marginal distributions are so large that they cannot be explained by fuzzy categories or item nonresponse. Furthermore, the results turn out to be stable even if design variability is controlled for. Surveys of persons who do not participate in surveys are associated with nonresponse problems. Thus comparisons of survey results with official statistics remain indispensable. Special attention should be paid to the household size and education variables. The results of our study should be checked with other population surveys.