Audibility and Intelligibility of Talk in Passing-By Interactions: A Methodological Puzzle

Abstract

Eine zentrale Annahme von Konversations- und Multimodalanalytiker*innen ist, dass die Teilnehmenden einen sensorischen Zugang zu den akustischen Merkmalen der untersuchten Interaktionen haben, vor allem zu Gesprochenem, das dank der Aufnahmen verfügbar ist. Wenn die Sprecher*innen nahe beieinanderstehen, wird ein Mikrofon zwischen oder auf einem von ihnen platziert, und es wird davon ausgegangen, dass die daraus resultierende Aufnahme den Klang einfängt, der sowohl für die Teilnehmer*innen als auch für Forschungszwecke relevant ist. Die Untersuchung mobiler und räumlich verteilter Interaktionen bringt eine Herausforderung mit sich: Wenn die Sprechenden nicht räumlich nahe beieinanderstehen, sondern weit voneinander entfernt sind, was ist dann der relevante Klang, der erfasst und untersucht werden kann? In diesem Artikel zeigen wir, dass prosodische, kompositorische und sequenzielle Merkmale desselben Gesprächssegments je nach dem genauen Standort der Hörenden oder des Aufnahmegeräts unterschiedlich klingen, was sowohl für die Forschenden als auch für die Teilnehmenden bedeutsam ist. Unsere Studie basiert auf einem Korpus von Korridorinteraktionen von Krankenhauspersonal, die mit einem Set-up aus vier Videokameras und acht gleichzeitig arbeitenden drahtlosen Mikrofonen aufgenommen wurden.

A central assumption of conversation and multimodal analysts is that the participants have sensorial access to the acoustic features, most notably talk, of the studied interactions, which are available thanks to the recordings. If speakers stand in close proximity, a microphone is placed between or on one of them, and the analyst considers that the resulting recording captures the sound that is relevant both for the participants and for research purposes. The study of mobile and spatially distributed interactions comes with a challenge: If speakers are not spatially close but apart from each other, what is the relevant sound for the researcher to collect and examine? In this article, we show that prosodic, compositional and sequential features of the same segment of talk sound differently depending on the exact location of the hearer, or recording device, which is relevant for the analyst as well as for the participants. Our study was based on a corpus of hospital staff corridor interactions captured with a set-up composed of four video-cameras and eight wireless microphones operating simultaneously.