Validation and Psychometric Analysis of 32 cognitive item models spanning Grades 1 to 7 in the mathematical domain of numbers & operations

Scientific Conference (2022, November)

Today’s educational field has a tremendous hunger for valid and psychometrically sound items to reliably track and model students’ learning processes. Educational large-scale assessments, formative ... [more ▼]

Today’s educational field has a tremendous hunger for valid and psychometrically sound items to reliably track and model students’ learning processes. Educational large-scale assessments, formative classroom assessment, and lately, digital learning platforms require a constant stream of high-quality, and unbiased items. However, traditional development of test items ties up a significant amount of time from subject matter experts, pedagogues and psychometricians and might not be suited anymore to nowadays demands. Salvation is sought in automatic item generation (AIG) which provides the possibility of generating multiple items within a short period of time based on the development of cognitively sound item templates by using algorithms (Gierl & Haladyna, 2013; Gierl et al., 2015). The present study psychometrically analyses 35 cognitive item models that were developed by a team of national subject matter experts and psychometricians and then used for algorithmically producing items for the mathematical domain of numbers & shapes for Grades 1, 3, 5, and 7 of the Luxembourgish school system. Each item model was administered in 6 experimentally varied versions to investigate the impact of a) the context the mathematical problem was presented in, and b) problem characteristics which cognitive psychology identified to influence the problem solving process. Based on samples from Grade 1 (n = 5963), Grade 3 (n = 5527), Grade 5 (n = 5291), and Grade 7 (n = 3018) collected within the annual Épreuves standardisées, this design allows for evaluating whether psychometric characteristics of produced items per model are a) stable, b) can be predicted by problem characteristics, and c) are unbiased towards subgroups of students (known to be disadvantaged in the Luxembourgish school system). After item calibration using the 1-PL model, each cognitive model was analyzed in-depth by descriptive comparisons of resulting IRT parameters, and the estimation of manipulated problem characteristics’ impact on item difficulty by using the linear logistic test model (LLTM, Fischer, 1972). Results are truly promising and show negligible effects of different problem contexts on item difficulty and reasonably stable effects of altered problem characteristics. Thus, the majority of developed cognitive models could be used to generate a huge number of items (> 10.000.000) for the domain of numbers & operations with known psychometric properties without the need for expensive field-trials. We end with discussing lessons learned from item difficulty prediction per model and highlighting differences between the Grades. References: Fischer, G. H. (1973). The linear logistic test model as an instrument in educational research. Acta Psychologica, 36, 359-374. Gierl, M. J., & Haladyna, T. M. (Eds.). (2013). Automatic item generation: Theory and practice. New York, NY: Routledge. Gierl, M. J., Lai, H., Hogan, J., & Matovinovic, D. (2015). A Method for Generating Educational Test Items That Are Aligned to the Common Core State Standards. Journal of Applied Testing Technology, 16(1), 1–18. [less ▲]

Validierung und psychometrische Analyse automatisch generierter Mathematikaufgaben im Bereich Zahlen und Operationen

Scientific Conference (2022, March 09)

Neue längsschnittliche Befunde aus dem nationalen Bildungsmonitoring ÉpStan in der 3. und 9. Klasse: Schlechtere Ergebnisse und wirkungslose Klassenwiederholungen

in LUCET; SCRIPT (Eds.) Nationaler Bildungsbericht Luxemburg 2021 (2021)

Résultats du monitoring scolaire national ÉpStan dans le contexte de la pandémie de COVID-19

in LUCET; SCRIPT (Eds.) Rapport national sur l’éducation au Luxembourg 2021 (2021)

Résultats du monitoring scolaire national ÉpStan dans le contexte de la pandémie de COVID-19 (Matériels supplémentaires)

in LUCET; SCRIPT (Eds.) Rapport National sur l´Éducation au Luxembourg 2021 (2021)

Développer la pensée algébrique des élèves de 10 à 14 ans : Regard croisé des enseignants du primaire et du secondaire

Presentation (2020)

Schülerkompetenzen im Längsschnitt - Die Entwicklung von Deutsch-Leseverstehen und Mathematik in Luxemburg zwischen der 3. und 9. Klasse

Report (2018)

it der Erhebung der ÉpStan im Herbst 2016 liegt erstmalig ein Datensatz vor, der einen Einblick in die Entwicklung schulischer Kompetenzen zwischen der 3. Schulstufe (Zyklus 3.1) und der 9. Schulstufe (5e ... [more ▼]

it der Erhebung der ÉpStan im Herbst 2016 liegt erstmalig ein Datensatz vor, der einen Einblick in die Entwicklung schulischer Kompetenzen zwischen der 3. Schulstufe (Zyklus 3.1) und der 9. Schulstufe (5e bzw. 9e) erlaubt. Das vorliegende Kapitel gibt nun einen ersten Einblick in die längsschnittliche Kompetenzentwicklung in den Bereichen Deutsch-Leseverstehen und Mathematik. Hierfür werden die Testergebnisse der untersuchten Schülerkohorte aus den ÉpStan 2010 in der 3. Schulstufe (Zyklus 3.1) den Leistungen in der 9. Schulstufe (5e bzw. 9e) im Jahre 2016 gegenübergestellt. [less ▲]

Les compétences scolaires des enfants au début du cycle 2 de l'école fondamentale au Luxembourg et leur développement après deux ans.

Report (2018)

Ce chapitre présente les résultats de trois collectes de données (2014, 2015, 2016) des ÉpStan au cycle 2.1 et présente avec quelles compétences scolaires les élèves débutent leur scolarité au début du ... [more ▼]

Ce chapitre présente les résultats de trois collectes de données (2014, 2015, 2016) des ÉpStan au cycle 2.1 et présente avec quelles compétences scolaires les élèves débutent leur scolarité au début du cycle 2.1 et comment celles-ci évoluent sur deux ans. De manière générale, nos résultats montrent que les compétences disciplinaires du cycle 1 portant sur les trois domaines d’apprentissage observés (« compréhension de l’oral en luxembourgeois », « compréhension de l’écrit» et « mathématiques ») sont acquises. Au début du cycle 2.1, la majorité des élèves atteint le Niveau Avancé dans l’ensemble des trois domaines d’apprentissage considérés. Deux ans plus tard, au cycle 3.1, la répartition des élèves sur les différents niveaux de compétence est plus négative qu’au cycle 2.1 et ceci dans la mesure où moins d’enfants ont atteint le Niveau Socle dans l’ensemble des trois domaines d’apprentissage observés. Nos résultats montrent également que, dès le début de la scolarité, différents facteurs extrascolaires (tels que le statut socio-économique et le contexte linguistique) ont une influence extrêmement forte sur les résultats des épreuves et que cette influence augmente au fil des années. [less ▲]

Schulische Kompetenzen von Erstklässlern und ihre Entwicklung nach zwei Jahren.

Poster (2018, November 08)

Jedes Jahr werden in den luxemburgischen Schulen die ÉpStan (Épreuves Standardisées) durchgeführt. Hierbei handelt es sich um nationale Schulleistungstests, welche Kompetenzen im Bereich der Mathematik ... [more ▼]

Jedes Jahr werden in den luxemburgischen Schulen die ÉpStan (Épreuves Standardisées) durchgeführt. Hierbei handelt es sich um nationale Schulleistungstests, welche Kompetenzen im Bereich der Mathematik und den Schulsprachen (Luxemburgisch, Deutsch und Französisch) auf standardisierte Art messen. Der vorliegende Beitrag ist sowohl eine Bestandsaufnahme der Schülerschaft zu Beginn des formalen Bildungswegs als auch ein Bericht ihrer Evolution über zwei Jahre im luxemburgischen Schulsystem. Hierzu haben wir die Daten aus drei Erhebungen (2014, 2015, 2016) der ÉpStan analysiert. Zum einen zeigen wir, anhand von Daten aus drei verschiedenen Kohorten, welche schulischen Kompetenzen Erstklässler (Zyklus 2.1) am Anfang ihrer Schullaufbahn aufweisen. Zudem hatten wir die Möglichkeit die Schüler und Schülerinnen der ersten Erhebung (2014) zwei Jahre später im Zyklus 3.1 nochmals zu testen und somit ihren Entwicklungsverlauf über zwei Jahre im luxemburgischen Bildungssystem zu dokumentieren. Diese ersten längsschnittlichen Daten zeigen, dass die Mehrheit der Schülerinnen und Schüler zu Beginn des Zyklus 2.1 das Niveau Avancé in den drei überprüften Kernkompetenzen („Luxemburgisch-Hörverstehen“, „Vorläuferfertigkeiten der Schriftsprache“ und „Mathematik“) erreicht. Somit stellen wir fest, dass die für den ersten Lernzyklus festgehaltenen Bildungsstandards erfüllt sind. Zwei Jahre später fällt die Verteilung der Schülerinnen und Schüler auf die verschiedenen Kompetenzränge negativer aus als im Zyklus 2.1. Im Zyklus 3.1 haben vergleichsweise mehr Kinder das Niveau Socle in allen drei Kernkompetenzen („Deutsch-Hörverstehen“, „Deutsch-Leseverstehen“ und „Mathematik“) noch nicht erreicht. Unsere Befunde zeigen außerdem, dass verschiedene außerschulische Faktoren (wie z. B. sozioökonomische Situation, Sprachhintergrund) bereits sehr früh im Verlauf der Schullaufbahn einen äußerst starken Einfluss auf die Testergebnisse haben und sich dieser Einfluss über die Jahre hinweg verstärkt. Abschließend präsentieren und diskutieren wir verschiedene Erklärungsansätze für diesen beobachteten Schereneffekt. [less ▲]

Évaluation de l'efficacité du système éducatif par le calcul de valeur ajoutée (VA) : Revue de littérature et exploration de modèles de VA dans un contexte scolaire hautement hétéroclite.

Scientific Conference (2018, July)