Machine Learning basierte Response Style Identifikation: eine simulations-statistische Pilotstudie

Abstract

Response Styles stellen eine Herausforderung für die empirische Surveyforschung dar. Antwortverhalten, welches nicht mit dem Inhalt der Frage assoziiert ist, kann nicht nur Anteils- und Durchschnittswerte beeinflussen, sondern auch modellbasierte Parameterschätzung verzerren. In dieser Pilotstudie soll der Frage nachgegangen werden, ob sich über Machine Learning Verfahren ein empirisch basierter Ansatz zu einheitlichen Identifikation von den gängigsten Response Style Mustern konstruieren lässt. Dies soll aufwändige Kontrollverfahren, welche jeweils nur einzelne Muster finden können oder mit erheblichem Mehraufwand verbunden sind, ersetzen und somit eine universellere und praxistauglichere Option zu bisherigen Ansätzen darstellen. Der hier dargelegte Ansatz basiert auf der Kalibrierung des ML-Verfahrens anhand von synthetisierten Daten, welche der formalen Definition von Response Styles (RS) entsprechen und einem Anteil von empirischen Daten (European Social Survey), welche nicht von RS betroffen sind. Das hierauf trainierte Modell kann auf empirisch erhobene Daten angewendet werden, um RS-Muster in Survey-Daten zuverlässig entdecken und bearbeiten zu können. Die Ergebnisse der Studie legen mit Fehlerklassifikationsraten von 0.3 bis 3.5 % den ML-Ansatz als eine vielversprechende Alternative zu bisherigen Verfahren nahe.