Are There Assessment Criteria for Qualitative Findings? A Challenge Facing Mixed Methods Research

Abstract

If findings from qualitative and quantitative components in mixed methods research are to be synthesised, the quality of each must be assessed. But an obvious problem is that there are no generally agreed criteria for assessing qualitative findings. The question of criteria has long been debated in the methodological literature. I argue that some important distinctions need to be made if progress is to be achieved on this issue. Perhaps the most important one is between the standards in terms of which assessment is carried out and the indicators used to evaluate findings in relation to those standards. I go on to outline what I believe is involved in such evaluations, rejecting the possibility of a detailed and explicit set of indicators that can immediately be used to determine the validity of knowledge claims. My approach broadly fits the framework of mixed methods research, since I deny that there is any fundamental philosophical difference between quantitative and qualitative methods. But it is at odds with widespread views, even within the realm of mixed methods, whose advocates seek radically to redefine the ontological, epistemological, and/or axiological assumptions of social scientific research, for example in the name of a transformative approach.

Die Synthese qualitativer und quantitativer Forschungsergebnisse in der Mixed-Methods-Forschung setzt eine Beurteilung der Güte beider Teilkomponenten voraus. Dabei stellt sich das Problem, dass zur Beurteilung qualitativer Forschung keine allgemein anerkannten Kriterien existieren. Die Frage der Gütekriterien wird in der methodologischen Literatur seit geraumer Zeit diskutiert. Ich argumentiere, dass eine produktive Weiterentwicklung dieser Debatte die Klärung einiger wichtiger Unterscheidungen zur Voraussetzung hat. Von besonderer Bedeutung ist dabei diejenige zwischen Standards, an denen sich die Bewertung von Forschungsergebnissen orientiert und den Indikatoren, die zur Evaluation im Sinne dieser Standards herangezogen werden. Ich beschreibe die unterschiedlichen Teilaspekte solcher Bewertungsprozesse und begründe die Annahme, dass es spezifische, unmittelbar anwendbare Indikatoren zur Validierung wissenschaftlicher Erkenntnisse bzw. Geltungsansprüche nicht geben kann. Mein Ansatz fügt sich in den allgemeinen Rahmen der Mixed-Methods-Forschung, insofern ich die Annahme prinzipieller philosophischer Unterschiede zwischen quantitativer und qualitativer Forschung zurückweise. Allerdings widerspreche ich den auch in der Mixed-Methods-Literatur verbreiteten Positionen, die eine radikale Neudefinition der ontologischen, epistemologischen und/oder axiologischen Grundannahmen der empirischen Sozialforschung anstreben, beispielsweise in Form von transformatorischen bzw. transformativen Ansätzen.