Feldexperimente in der empirischen Sozialforschung: Probleme und Lösungen an einem Beispiel aus der Umfragemethodologie

Abstract

Der vorliegende Beitrag beschäftigt sich mit den Herausforderungen eines Feldexperiments aus der Umfragemethodologie. Zielsetzung des experimentellen Designs war die Evaluierung von Methodeneffekten bei Web-Befragungen mittels eines empirischen Vergleichs alternativer Befragungsmethoden. Als Methodeneffekte werden Verzerrungen von Antworten und anderen Messergebnissen aufgrund der gewählten Befragungs- bzw. Messmethode bezeichnet. In der Regel handelt es sich dabei um vergleichsweise geringe Verzerrungen. Da Methodeneffekte aber methodenimmanent, also untrennbar mit einer Erhebungsmethode verbunden sind, werden sie vereinzelt als bedeutsamste Quelle von Messfehlern beschrieben. Während bezüglich der Web-Befragung häufig die mit der Auswahl dieser Befragungsmethode auftretenden Probleme der Stichprobenqualität und der erreichbaren Repräsentativität thematisiert wurden, standen die Messfehler, insbesondere die Methodeneffekte zunächst abseits des Fokus. Dieses Forschungsdesiderat war der Anlass für die Durchführung eines empirischen Methodenvergleichs, bei dem die Web-Befragung mit den telefonischen und postalischen Befragungsmethoden verglichen wurde. Dieser wurde als Feldexperiment mittels eines Test-Retest-Ansatzes realisiert. Im vorliegenden Beitrag werden sowohl die Gründe für diese Entscheidung als auch die damit verbundenen Probleme sowie deren konkrete Lösungsmöglichkeiten dargestellt. (ICI2)