Further Explorations on the Use of Large Language Models for Thematic Analysis: Open-Ended Prompts, Better Terminologies and Thematic Maps

Abstract

In diesem Beitrag baue ich auf einer ersten Forschungsarbeit auf, in der ich Verfahren zur Nutzung von Large Language Models (LLMs) in der qualitativen Datenanalyse entwickelt habe, indem ich eine thematische Analyse (TA) mit LLMs durchführe. Die TA dient der Identifizierung von Mustern durch eine anfängliche Kennzeichnung qualitativer Daten, gefolgt von der Organisation der Kennzeichnungen/Codes nach Themen. Zunächst schlage ich einen neuen Satz von LLM-Aufforderungen für die anfängliche Kodierung und Generierung von Themen vor. Diese neuen Prompts unterscheiden sich von den typischen Prompts, die für eine solche Analyse eingesetzt werden, da sie völlig offen sind und auf TA-Sprache beruhen. Zweitens untersuche ich den Prozess des Entfernens doppelter Anfangscodes durch eine vergleichende Analyse der Codes jedes Interviews mit einem kumulativen Codebuch. Drittens untersuche ich die Konstruktion von thematischen Karten aus den Themen, die durch das LLM hervorgerufen wurden. Viertens bewerte ich die vom LLM erzeugten Themen im Vergleich zu den Themen, die manuell von Menschen erzeugt wurden. Für die Durchführung dieser Untersuchung habe ich ein kommerzielles LLM über eine Anwendungsprogrammschnittstelle (API) eingesetzt. Zwei Datensätze von frei zugänglichen halbstrukturierten Interviews wurden analysiert, um die methodischen Möglichkeiten dieses Ansatzes zu demonstrieren. Ich schließe mit praktischen Überlegungen zur Durchführung von TA mit LLM, um unser Wissen über das Feld zu erweitern.

In this manuscript I build upon an initial body of research developing procedures for leveraging large language models (LLMs) in qualitative data analysis, by carrying out thematic analysis (TA) with LLMs. TA is used to identify patterns by means of initial labelling of qualitative data followed by the organisation of the labels/codes by themes. First, I propose a new set of LLM prompts for initial coding and generation of themes. These new prompts are different from the typical prompts deployed for such analysis in that they are entirely open-ended and rely on TA language. Second, I investigate the process of removing duplicate initial codes through a comparative analysis of the codes of each interview against a cumulative codebook. Third, I explore the construction of thematic maps from the themes elicited by the LLM. Fourth, I evaluate the themes produced by the LLM against the themes produced manually by humans. For conducting this research, I employed a commercial LLM via an application program interface (API). Two datasets of open access semi-structured interviews were analysed to demonstrate the methodological possibilities of this approach. I conclude with practical reflections on performing TA with LLM, enhancing our knowledge of the field.