General-purpose imputation of planned missing data in social surveys: Different strategies and their effect on correlations

Abstract

Planned missing survey data, for example stemming from split questionnaire designs are becoming increasingly common in survey research, making imputation indispensable to obtain reasonably analyzable data. However, these data can be difficult to impute due to low correlations, many predictors, and limited sample sizes to support imputation models. This paper presents findings from a Monte Carlo simulation, in which we investigate the accuracy of correlations after multiple imputation using different imputation methods and predictor set specifications based on data from the German Internet Panel (GIP). The results show that strategies that simplify the imputation exercise (such as predictive mean matching with dimensionality reduction or restricted predictor sets, linear regression models, or the multivariate normal model without transformation) perform well, while especially generalized linear models for categorical data, classification trees, and imputation models with many predictor variables lead to strong biases.

Geplant fehlende Werte in sozialwissenschaftlichen Befragungen, beispielsweise infolge eines Split Questionnaire Designs, treten in der Umfrageforschung immer häufiger auf. Um hinlänglich analysierbare Daten zu erhalten, ist hierbei oftmals eine Imputation erforderlich. Die statistische Modellierung bei der Imputation solcher Daten kann jedoch aufgrund niedriger Korrelationen, einer Großzahl möglicher Prädiktoren und begrenzter Stichprobengrößen mit enormen Herausforderungen verbunden sein. Der vorliegende Beitrag stellt Ergebnisse aus einer Monte-Carlo-Simulation vor, in der basierend auf Daten des German Internet Panels (GIP) die Validität von Korrelationsschätzungen in einem Split Questionnaire Design unter Verwendung verschiedener Imputationsstrategien untersucht wird. Dabei zeigt sich, dass Ansätze, die die Imputation vereinfachen, zu guten Ergebnissen führen können (z.B. Predictive Mean Matching mit Dimensionsreduktion oder wenigen Prädiktorvariablen). Demgegenüber können insbesondere Generalisierte Lineare Modelle für kategoriale Daten, Klassifikationsbäume (CART) und Imputationsmodelle mit vielen Prädiktorvariablen starke Verzerrungen zur Folge haben.