No Evidence that Strict Educational Tracking Improves Student Performance through Classroom Homogeneity: A Critical Reanalysis of Esser and Seuring (2020)

Abstract

In a recent contribution to this journal, Esser and Seuring (2020) draw on data from the National Educational Panel Study to attack the widespread view that tracking in lower secondary education exacerbates inequalities in student outcomes without improving average student performance. Exploiting variation in the strictness of tracking across 13 of the 16 German federal states (e. g., whether teacher recommendations are binding), Esser and Seuring claim to demonstrate that stricter tracking after grade 4 results in better performance in grade 7 and that this can be attributed to the greater homogeneity of classrooms under strict tracking. We show these conclusions to be untenable: Esser and Seuring's measures of classroom composition are highly dubious because the number of observed students is very small for many classrooms. Even when we adopt their classroom composition measures, simple corrections and extensions of their analysis reveal that there is no meaningful evidence for a positive relationship between classroom homogeneity and student achievement - the channel supposed to mediate the alleged positive effect of strict tracking. We go on to show that students from more strictly tracking states perform better already at the start of tracking (grade 5), which casts further doubt on the alleged positive effect of strict tracking on learning progress and leaves selection or anticipation effects as more plausible explanations. On a conceptual level, we emphasize that Esser and Seuring's analysis is limited to states that implement different forms of early tracking and cannot inform us about the relative performance of comprehensive and tracked systems that is the focus of most prior research.

In einem kürzlich in dieser Zeitschrift veröffentlichten Artikel attackieren Esser und Seuring (2020) die verbreitete Auffassung, dass eine frühe Leistungsdifferenzierung in den ersten Jahren der Sekundarstufe Ungleichheiten zwischen Schüler*innen verstärkt, ohne sich positiv auf das durchschnittliche Leistungsniveau auszuwirken. Auf Basis einer Analyse von Daten des Nationalen Bildungspanels für 13 Bundesländer kommen die Autoren zu dem Ergebnis, dass sich eine strenge Leistungsdifferenzierung (z. B. durch bindende Grundschulempfehlungen) positiv auf das Leistungsniveau in Klasse 7 auswirkt und dass dies auf die homogenere Klassenzusammensetzung in strikt differenzierenden Ländern zurückgeführt werden kann. Der vorliegende Beitrag zeigt, dass diese Schlussfolgerungen nicht haltbar sind: Esser und Seurings Indikatoren für die Klassenzusammensetzung sind qualitativ fragwürdig, da die Anzahl gültiger Beobachtungen für viele Klassen sehr klein ist. Selbst bei Verwendung ihrer Indikatoren wird durch einfache Korrekturen und Ergänzungen ihrer Analyse schnell deutlich, dass es keine belastbaren empirischen Belege für den theoretisch zentralen positiven Zusammenhang zwischen homogener Klassenzusammensetzung und Leistungsniveau gibt. Zudem können wir zeigen, dass Schüler*innen in streng differenzierenden Ländern bereits zu Beginn der Sekundarstufe bessere Leistungen erzielen, ein weiteres Ergebnis, das gegen einen (kausalen) positiven Zusammenhang zwischen strenger Differenzierung und Lernfortschritt und für Alternativerklärungen wie Selektions- oder Antizipationseffekte spricht. In konzeptioneller Hinsicht heben wir hervor, dass sich die Analyse von Esser und Seuring auf verschiedene leistungsdifferenzierende Systeme beschränkt und insofern keine unmittelbaren Implikationen für den in der Literatur zentralen Vergleich zwischen differenzierenden und Gesamtschulsystemen (comprehensive systems) haben kann.