Split Questionnaire Designs for Online Surveys: The Impact of Module Construction on Imputation Quality

Abstract

Established face-to-face surveys encounter increasing pressures to move online. Such a mode switch is accompanied with methodological challenges, including the need to shorten the questionnaire that each respondent receives. Split Questionnaire Designs (SQDs) randomly assign respondents to different fractions of the full questionnaire (modules) and, subsequently, impute the data that are missing by design. Thereby, SQDs reduce the questionnaire length for each respondent. Although some researchers have studied the theoretical implications of SQDs, we still know little about their performance with real data, especially regarding potential approaches to constructing questionnaire modules. In a Monte Carlo study with real survey data, we simulate SQDs in three module-building approaches: random, same topic, and diverse topics. We find that SQDs introduce bias and variability in univariate and especially in bivariate distributions, particularly when modules are constructed with items of the same topic. However, single topic modules yield better estimates for correlations between variables of the same topic.

Etablierte Face-to-Face-Erhebungen stehen zunehmend unter dem Druck, online durchgeführt zu werden. Ein solcher Wechsel des Erhebungsmodus ist mit methodischen Herausforderungen verbunden, unter anderem mit der Notwendigkeit, den Fragebogen, den jede/r Befragte erhält, zu kürzen. Bei geteilten Fragebögen (Split Questionnaire Designs, SQDs) werden den Befragten nach dem Zufallsprinzip verschiedene Teile des vollständigen Fragebogens (Module) zugewiesen, und anschließend werden die fehlenden Daten durch Imputation ermittelt. Auf diese Weise reduzieren SQDs die Länge des Fragebogens für jede/n Befragte/n. Obwohl einige Forschende die theoretischen Implikationen von SQDs untersucht haben, wissen wir immer noch wenig über ihre Leistung mit realen Daten, insbesondere im Hinblick auf mögliche Ansätze zur Konstruktion von Fragebogenmodulen. In einer Monte-Carlo-Studie mit realen Umfragedaten simulieren die Autor*innen SQDs in drei Ansätzen zur Modulerstellung: zufällig, gleiches Thema und verschiedene Themen. Sie stellen fest, dass SQDs Verzerrungen und Schwankungen in univariaten und vor allem in bivariaten Verteilungen verursachen, insbesondere wenn Module mit Items desselben Themas konstruiert werden. Einzelne Themenmodule liefern jedoch bessere Schätzungen für Korrelationen zwischen Variablen desselben Themas.