Instructed Response Item Attention Checks in Mixed-mode Questionnaires: Evidence from a Probability-based Mail and Online Panel

Abstract

Mostly in web surveys, attention checks have been proposed to identify inattentive respondents in self-administered surveys as previous research has argued that low-quality answers may introduce severe biases in data analyses. The increasing popularity of mixing survey modes for conducting probability-based surveys amplifies the need for systematic research on the implementation of attention checks in these survey designs. Our study investigates whether an instructed response item (IRI) can be an adequate predictor of response quality in a self-administered mixed-mode panel survey with a probability-based German general population sample. By doing so, we compare the results of the attention check with those of other response quality indicators. However, while the results for the online respondents were somewhat promising, the mail respondents result suggests that this response quality indicator seems reliable, so that we cannot recommend using IRIs in general population mixed-mode surveys, which include a mail option.

Diese Studie untersucht die Effektivität von Instructed Response Item (IRI)-Aufmerksamkeitskontrollen in einer gemischten (Post- und Web-) Wahrscheinlichkeitsbefragung in der deutschen Allgemeinbevölkerung. Aufgrund steigender Bedenken hinsichtlich der Datenqualität bei selbst durchgeführten Umfragen werden zunehmend Aufmerksamkeitskontrollen eingesetzt, um unaufmerksame Antworten zu erkennen. In der bisherigen Forschung wurden Aufmerksamkeitskontrollen bei gemischten Erhebungen, insbesondere bei postalischen Erhebungen, jedoch nicht eingehend untersucht. Die Studie ergab, dass 44,9% der per Post befragten Personen den IRI-Aufmerksamkeitscheck nicht bestanden, verglichen mit nur 24,5% der Online-Teilnehmenden. Diese Diskrepanz blieb auch nach Bereinigung um Selbstselektion und Abbruch bestehen. Interessanterweise korrelierte die hohe Misserfolgsquote im Postversand nicht mit einer geringeren Antwortqualität und wirkte sich auch nicht negativ auf die Umfrageerfahrung der Teilnehmenden aus. Weitere Analysen deuten darauf hin, dass die Tendenz der Befragten, den IRI auszulassen oder falsch zu beantworten, eher auf die Unkenntnis des Konzepts der Aufmerksamkeitsprüfung als auf Unaufmerksamkeit zurückzuführen sein könnte. Die Autor*innen kommen zu dem Schluss, dass Aufmerksamkeitsprüfungen zwar unaufmerksame Antworten erkennen können, aber für verschiedene Erhebungsmodi sorgfältig angepasst werden sollten. Sie warnen davor, sich zu sehr auf solche Kontrollen zu verlassen, insbesondere bei Briefumfragen, da sie zu unnötigen Ausschlüssen führen oder das Vertrauen der Befragten beeinträchtigen können. Diese Studie unterstreicht, wie wichtig es ist, Erhebungsinstrumente auf verschiedene Antwortmodi zuzuschneiden, und bietet Einblicke in die ethischen Überlegungen zu Aufmerksamkeitskontrollen in gemischten Erhebungen.