An assessment of the difficulty of questions used in the ISSP-questionnaires, the clarity of their wording, and the comparability of the responses

Abstract

'International vergleichende Umfrageforschung basiert auf der Annahme, daß erstens die Antworten der Befragten in ausreichendem Maße Auskunft geben über das Verhalten und die Meinungen, die im Fragebogen abgefragt werden, und zweitens daß die Antworten der Befragten über die verschiedenen Länder hinweg ausreichend vergleichbar sing trotz der Unterschiede in den verwendeten Sprachen. Im Rahmen dieser Arbeit wird untersucht, ob diese Annahmefür eine große Auswahl von Umfragen gerechtfertigt ist, die im Kontext des International Social Survey Program (ISSP) entstanden sind. Auf der Basis eines konzeptionellen Modells, basierend auf methodischer Forschung zu Responseeffekten, sollen die Fragebögen bewertet werden. Es kann gezeigt werden, daß die Qualität der Umfrage von der Schwierigkeit und Klarheit der Fragen ebenso abhängig ist wie von der Länge des Fragebogens sowie der Präsenz oder Abwesenheit von verzerrenden Faktoren. Die Fragen des ISSP werden anhand von zehn Kriterien bewertet, die den Schwierigkeitsgrad der Fragen widerspiegeln und anhand von drei Indikatoren für die Eindeutigkeit der Fragestellungen. Die Vergleichbarkeit der Antworten wurde unter verschiedenen Aspekten bewertet, u.a. anhand der 'Vergleichbarkeit der Worte in der Frageformulierung' und anhand der 'Ähnlichkeit der zu bewertenden Objekte'. Die Ergebnisse zeigen, daß einige Fragen in ISSP-Surveys ziemlich schwierig und andere unklar formuliert sind. Darüber hinaus ist die Vergleichbarkeit der Antworten reduziert, da z. T unterschiedliche Intervieweranweisungen in den teilnehmenden Ländern gegeben wurden, und weil einige Fragen zu den Einstellungen in den Ländern unterschiedliche Bedeutungen haben.' (Autorenreferat)

'The rationale of cross-national survey research rests on the assumptions (1) that the answers given by respondents are sufciently informative about the behaviours and opinions asked for in the questionnaires, and (2) that the answers of respondents participating in surveys, conducted in different countries, are sufficiently comparable, despite differences in the languages used. It is investigated whether these assumptions are justied for a large selection of surveys conducted within the context of the International SocialSurvey Program (ISSP). A conceptual model based an methodological research after response effects guides this evaluation of questionnaires. The model asserts that responsequality depends on the difficulty and clarity of the questions, on the length of the questionnaire and on the presence or absence of biasing factors. Questions from ISSP-questionnaires are evaluated by using ten criteria relating to question difficulty and three indicators concerning the clarity of the questions. The comparability of responses to these questions is evaluated by looking at six different aspects, like 'equivalent wording of the question' and 'similarity of the objects to be evaluated': this evaluation shows that some questions asked in Ihe ISSP-surveys are rather difficult while others are not very clear. The comparability of the responses is also hampered by the fact that different modes of questionnaire administration are used in the participating countries and that the attitude objects to be evaluated by respondents may differ between questionnaires.' (author's abstract)|