Online-Umfragen - schnell, billig, aber auch valide? Ein Vergleich zweier Internetbefragungen mit persönlichen Interviews zur Bundestagswahl 2002

Abstract

'Der Beitrag vergleicht die Ergebnisse einer persönlichen Befragung einer Zufallsstichprobe, einer Online-Befragung zufällig ausgewählter Internetnutzer sowie einer offenen WWW-Umfrage zu politischen Einstellungen, die im Umfeld der Bundestagswahl 2002 durchgeführt wurden. Aus Unterschieden in der Rekrutierung der Respondenten und im Befragungsmodus werden Hypothesen abgeleitet und empirisch überprüft. Die Randverteilungen der Online-Befragungen, vor allem aber der offenen WWW-Umfrage, weichen deutlich von jenen in der mündlichen Befragung ab: Männer, junge, hochgebildete, politisch interessierte und informierte Menschen sind darin deutlich überrepräsentiert. Sieht man von Wissensfragen ab, lassen sich zwischen den drei Umfragen keine gravierenden Unterschiede im Messfehler nachweisen. In Bezug auf Reliabilitätsschätzungen treten nur geringe Differenzen zwischen den drei Erhebungen auf. Dagegen resultieren zu Korrelationen zwischen Variablen, die mit der Rekrutierungswahrscheinlichkeit in Online- und Offline-Erhebungen zusammenhängen, in den Online-Erhebungen, vor allem aber der WWW-Umfrage deutlich andere Befunde als in der mündlich befragten Zufallsstichprobe. Gleiches gilt für Korrelationen zwischen parteipolitischen Einstellungen und für die Erklärungskraft politischer Einstellungen in Bezug auf das Wahlverhalten. Online-Erhebungen, insbesondere aber offene Web-Umfragen sind somit weitgehend ungeeignet, valide Aussagen über Randverteilungen und Variablenzusammenhänge in der deutschen Gesamtbevölkerung zu treffen.' (Autorenreferat)

'Online surveys - fast, cheap, but also valid? A comparison of two internet surveys with personal interviews on the German federal election 2002. This article analyses whether internet surveys on political attitudes allow for valid inferences on the electorate as a whole. For this purpose difference hypotheses on marginal distributions and correlations are proposed. They are tested empirically by comparing results of personally interviewed members of a probability sample, an online survey among members of an online panel and results of a survey among voluntary participants in an internet survey. As far as univariate statistics are concerned, the analysis reveals systematic biases in online surveys: Men, young, highly educated and politically interested persons participate in online surveys at a dis-proportionately high rate. Reliability estimates in online surveys do not diverge from results of personal interview data, but correlations among variables which are correlated with the selection probabilities in online surveys differ clearly from off-line survey results; additionally, online estimates of the correlations among political attitudes and the explanatory power of political attitudes on voting behaviour differ from offline results; and this is especially true for the www-survey. Hence, the results show that at the moment online surveys - and especially www-surveys - are of very limited value for the analysis of the electorate as a whole in Germany.' (author's abstract)|