Students' results from standardized tests are often used to evaluate the individual learning outcomes, the teaching quality, and other characteristics of the education system at the national and the international level. Valid conclusions about school and teaching require that the test instruments are instructionally sensitive, i.e. capable of mapping the effects of teaching. The project builds on a longitudinal multilevel DIF-model (LML-DIF model) for evaluating instructional sensitivity (Naumann, Hochweber, & Hartig, 2014). This model integrates existing approaches by incorporating both change in student performance over time and differences between school classes, and it allows the differentiation of global and differential sensitivity of tests and items. The project has four major objectives: 1. further development and extension of the LML-DIF model 2. examination of methods and conditions of parameter estimation 3. the validation of the statistical indicators of instructional sensitivity 4. development of criteria to classify the instructional sensitivity on the test and the item level To achieve these goals, simulation studies, secondary analyses of existing data sets as well as data collection at Swiss schools (canton St. Gallen) were carried out. In the latter, the school performance of fifth graders in the field of arithmetic was assessed to several time points. At the same time, data on the quality and the content of teaching was collected at the teacher and student level. Moreover, expert judgements from teachers and subject matter experts were collected to judge the instructional sensitivity.

Ergebnisse von Schüler/innen aus standardisierten Leistungstests werden häufig dazu genutzt, den individuellen Lernstand von Schüler/innen zu erfassen, die Qualität von Schule, Unterricht und anderer pädagogischer Maßnahmen zu beurteilen oder Bildungssysteme auf nationaler und internationaler Ebene zu vergleichen. Gültige Rückschlüsse über Schule und Unterricht erfordern, dass die Testinstrumente instruktionssensitiv sind, das heisst dazu in der Lage sind, Effekte des Unterrichts abzubilden. Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten längsschnittlichen Mehrebenen-Differential-Item-Functioning-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Schulklassen einbezieht, und es erlaubt die Unterscheidung der globalen und differenziellen Sensitivität von Tests und Items. Das Projekt verfolgt vier Ziele: 1. die Weiterentwicklung des LML-DIF-Modells 2. die Untersuchung der Qualität und Bedingungen der Parameterschätzung 3. die Validierung von statistischen Indikatoren für Instruktionssensitivität 4. die Entwicklung von Kriterien zur Klassifikation von Instruktionssensitivität auf Test- und Itemebene Zur Erreichung dieser Ziele werden Simulationsstudien und Sekundäranalysen bestehender Datensätze sowie eine Datenerhebung an Schweizer Schulen (Kanton St. Gallen) durchgeführt. Dabei werden Schulleistungen von Fünftklässler/innen im Bereich Arithmetik zu mehreren Messzeitpunkten erhoben. Parallel dazu werden u.a. Aussagen der Lehrpersonen zu den Unterrichtsinhalten und Experten-Einschätzungen der Testaufgaben zur Nähe zum Unterricht gewonnen.