Wie Gesellschaft algorithmischen Entscheidungen auf den Zahn fühlen kann

Abstract

Zunehmend treffen algorithmische Entscheidungssysteme (ADM-Systeme) Entscheidungen über Menschen und beeinflussen damit öffentliche Räume oder die gesellschaftlichen Teilhabemöglichkeiten von Individuen; damit gehören derartige Systeme zur öffentlichen IT. Hier zeigen wir, am Beispiel der Analyse von Rückfälligkeitsvorhersagesystemen und dem Datenspende-Projekt zur Bundestagswahl 2017, wie solche Systeme mit Hilfe von Black-Box-Analysen von der Öffentlichkeit untersucht werden können und wo die Grenzen dieses Ansatzes liegen. Insbesondere bei ADM-Systemen der öffentlichen Hand zeigt sich hierbei, dass eine Black-Box-Analyse nicht ausreichend ist, sondern hier ein qualitätsgesicherter Prozess der Entwicklung und Evaluation solcher Systeme notwendig ist.