Qualitative Content Analysis With ChatGPT: Pitfalls, Rough Approximations and Gross Errors - A Field Report

Abstract

In this article I describe a series of test runs to examine the contribution that the AI-based program ChatGPT in both Versions 3.5. and 4 can make to a qualitative content analysis of interview texts. A short sample text with my sample solution is presented for this purpose. Rough inputs for a rather naive use ("Conduct a qualitative content analysis!") as well as differentiated specifications with questions and more precise coding instructions (prompts) led in both versions at most to rough approximations of the sample solution with a large number of gross errors. The program did not react or reacted incorrectly to different content analysis concepts (BRAUN & CLARKE, 2006; KUCKARTZ, 2014; MAYRING, 2022a; SCHREIER, 2012), did not recognize hidden text content, and failed to check for coding agreement. The results of the software, no matter what specifications were made, mostly pointed in the direction of a rough, superficial summary in the sense of a list of topics and thus appear to be less suitable for the qualitative content analysis methods I developed (MAYRING, 2022a, 2022b).

In diesem Beitrag wird durch eine Reihe von Testläufen untersucht, welchen Beitrag das KI-basierte Programm ChatGPT in den beiden Versionen 3.5. und 4 zu einer qualitativen Inhaltsanalyse von Interviewtexten leisten kann. Dazu wird ein kurzer Mustertext mit meiner Musterlösung präsentiert. Grobe Eingaben bei einer eher naiven Nutzung ("Führe eine qualitative Inhaltsanalyse durch!") als auch differenzierte Vorgaben mit Fragestellung und genaueren Kodieranweisungen führten in beiden Versionen höchstens zu groben Annäherungen an die Musterlösung bei einer Vielzahl von groben Fehlern. Das Programm hatte auf unterschiedliche inhaltsanalytische Konzepte (BRAUN & CLARKE 2006; KUCKARTZ 2014; MAYRING 2022a; SCHREIER 2012) nicht bzw. falsch reagiert, erkannte verborgenere Textinhalte nicht und versagte bei Überprüfungen der Kodierübereinstimmung. Die Ergebnisse der Software wiesen, egal welche Vorgaben gemacht wurden, meistens in Richtung einer groben, oberflächlichen Zusammenfassung im Sinne einer Themenauflistung. Für die von mir entwickelten qualitativ-inhaltsanalytischen Verfahren (MAYRING 2022a, 2022b) erscheinen sie wenig geeignet.