Computerunterstütztes Pretesting von CATI-Fragebögen: das CAPTIQ-Verfahren

Abstract

'Der vorliegende Beitrag stellt ein am Sozialwissenschaftlichen Umfragezentrum der Universität Duisburg-Essen entwickeltes computerunterstütztes, auf dem Prinzip des Behavior-Coding basierendes Pretestverfahren für CATI-Instrumente unter Feldbedingungen vor. Feldpretests (auch: Beobachtungs- oder Standardpretests) für CATI-Instrumente erfordern die Evaluation von CATI-Fragebögen im Rahmen einer computerunterstützten telefonischen Pretesterhebung. Die Registrierung der während der Pretestinterviews auftretenden Probleme mit einzelnen Fragen kann traditionell von den Pretestinterviewern entweder retrospektiv nach der Beendigung des telefonischen Pretests durch Ausfüllen eines speziellen Beobachtungsinstruments oder durch Paper- und Pencil-Notierung der Probleme während einer Frage-Antwort-Episode vollzogen werden. Weder von der retrospektiven Methode noch von der Methode des gleichzeitigen schriftlichen Eintrags sind, insbesondere bei schwierigen Erhebungsinstrumenten reliable Ergebnisse zu erwarten. Im zuletzt genannten Fall muss davon ausgegangen werden, dass der Interviewer in der Regel so sehr auf das eigentliche Interview und die computerunterstützte Eingabe der Antworten konzentriert ist, dass er mit der zusätzlichen Aufgabe, Probleme schriftlich festzuhalten, überfordert wäre. Das hier vorgestellte Verfahren versucht, diese Defizite zu umgehen und zugleich die Vorteile computerunterstützter Telefonumfragen für Pretests zu nutzen. Ein Vorteil besteht etwa in der Möglichkeit, größere, nach dem Zufallsverfahren von Gabler und Häder (1997) gezogene Preteststichproben zu verwenden, um anspruchsvollere statistische Verfahren schon in der Pretestphase einzusetzen. Ein weiterer Vorteil liegt in der raschen Verfügbarkeit eines Pretest-Datensatzes. Das hier beschriebene CAPTIQ-Verfahren (CAPTIQ: Computer Assisted Pretesing of Telephone Interview Questionnaires) erlaubt die sofortige computerunterstützte Codierung der Problemarten und liefert einen Datensatz, auf dessen Grundlage die Pretestergebnisse in ihrer longitudinalen Qualität sichtbar gemacht werden können. Dies geschieht mit Hilfe einer grafischen Darstellung, die als IPG (Interview Process Graph) bezeichnet wird. Ähnlich wie in einem Elektrokardiogramm lassen sich Probleme mit Anwortskalen, Antworttendenzen, Lernprozesse, etc, insbesondere bei längeren Itembatterien identifizieren.' (Autorenreferat)

'Observational pretesting or standard pretesting of CATI-questionnaires is not unproblematic because the recording of observed respondent behavior has either to be carried out during the interview itself or after completion of the interview, prepared by filling out observational forms. Recording during the interview often places a heavy additional burden on the interviewer above and beyond conducting the interview properly. Recording after the interview presents a challenge to reliability. In this paper we present a method for Computer Assisted Pretesting of Telephone Interview Questionnaires (CAPTIQ) which allows respondents' behavior to be coded during the interview without burdening the interviewer too much. The interviewers are able to code without interrupting the flow of the interview itself. The pretest data for each question and each respondent collected by CAPTIQ may be seen as longitudinal data which can be represented by a graph called IPG (Interview Process Graph). The IPG, rather like an electrocardiogram, reveals any problem zones occurring during the interview. As a result, problems concerning response scales, information collected on the learning processes initialized by respondents while processing item batteries. Comprehension difficulties related to question wording or other factors also manifest themselves in oscillations of the IPG. The paper describes the CAPTIQ-Method and presents an illustration of the IPG by evaluating a CATI-Questionnaire used for a nationwide survey about health and media use.' (author's abstract)|