Untersuchung von Relevanzeigenschaften in einem kontrollierten Eytracking-Experiment

Abstract

In diesem Artikel wird ein Eyetracking-Experiment beschrieben, bei dem untersucht wurde, wann und auf Basis welcher Informationen Relevanzentscheidungen bei der themenbezogenen Dokumentenbewertung fallen und welche Faktoren auf die Relevanzentscheidung einwirken. Nach einer kurzen Einführung werden einschlägige Studien aufgeführt, in denen Blickverfolgung (Eye tracking) als Untersuchungsmethode für Interaktionsverhalten mit Ergebnislisten (information seeking behaviour) verwendet wurde. Nutzerverhalten wird hierbei vor allem durch unterschiedliche Aufgaben-Typen, durch unterschiedlich dargestellte Informationen und durch den Rang eines Ergebnisses auf der Trefferliste beeinflusst. Durch Eyetracking-Untersuchungen lassen sich Nutzer außerdem in verschiedene Klassen von Bewertungs- und Lesetypen einordnen. Diese Informationen können als implizites Feedback genutzt werden, um so die Suche zu personalisieren und um die Relevanz von Suchergebnissen ohne aktives Zutun des Users zu erhöhen. In einem explorativen Eyetracking-Experiment mit zwölf Studenten der Hochschule Darmstadt werden anhand der Länge der Gesamtbewertung, Anzahl der Fixationen, Anzahl der besuchten Metadatenelemente und Länge des Scanpfades zwei typische Bewertungstypen identifiziert. Das Metadatenfeld Abstract wird im Experiment zuverlässig als wichtigste Dokumenteigenschaft für die Zuteilung von Relevanz ermittelt. (Autorenreferat)

The article describes an eyetracking experiment which examines relevance judgements within the context of subject-related document assessments. We analyze in the study on what information the judgements of our test persons are based on and which document specific properties influence the relevance decisions. In the state of the art the authors present relevant studies that use eyetracking methodology as a research method to investigate information seeking behaviour models. The three factors that particularly influence user behaviour are: different task types, search results presentation, and document ranking. Furthermore, the results of these eyetracking studies help us to classify users into typical evaluation and reading types. This information can then be used as implicit feedback to personalize the search. Relevance of search results could thus be improved without any further involvement by the users. In an exploratory eyetracking experiment with twelve students from the University of Applied Sciences in Darmstadt, we were able to identify two typical evaluation types, based on total length of the evaluation, number of fixations, number of visited metadata elements and length of the scan path. This experiment shows that the metadata field abstract is clearly the most important document property to assign topical relevance to scientific articles. (author's abstract)