Results 1-20 of 42.
((uid:50001822))

Bookmark and Share    
Peer Reviewed
See detailValidation and Psychometric Analysis of 32 cognitive item models spanning Grades 1 to 7 in the mathematical domain of numbers & operations
Michels, Michael Andreas UL; Hornung, Caroline UL; Gamo, Sylvie UL et al

Scientific Conference (2022, November)

Today’s educational field has a tremendous hunger for valid and psychometrically sound items to reliably track and model students’ learning processes. Educational large-scale assessments, formative ... [more ▼]

Today’s educational field has a tremendous hunger for valid and psychometrically sound items to reliably track and model students’ learning processes. Educational large-scale assessments, formative classroom assessment, and lately, digital learning platforms require a constant stream of high-quality, and unbiased items. However, traditional development of test items ties up a significant amount of time from subject matter experts, pedagogues and psychometricians and might not be suited anymore to nowadays demands. Salvation is sought in automatic item generation (AIG) which provides the possibility of generating multiple items within a short period of time based on the development of cognitively sound item templates by using algorithms (Gierl & Haladyna, 2013; Gierl et al., 2015). The present study psychometrically analyses 35 cognitive item models that were developed by a team of national subject matter experts and psychometricians and then used for algorithmically producing items for the mathematical domain of numbers & shapes for Grades 1, 3, 5, and 7 of the Luxembourgish school system. Each item model was administered in 6 experimentally varied versions to investigate the impact of a) the context the mathematical problem was presented in, and b) problem characteristics which cognitive psychology identified to influence the problem solving process. Based on samples from Grade 1 (n = 5963), Grade 3 (n = 5527), Grade 5 (n = 5291), and Grade 7 (n = 3018) collected within the annual Épreuves standardisées, this design allows for evaluating whether psychometric characteristics of produced items per model are a) stable, b) can be predicted by problem characteristics, and c) are unbiased towards subgroups of students (known to be disadvantaged in the Luxembourgish school system). After item calibration using the 1-PL model, each cognitive model was analyzed in-depth by descriptive comparisons of resulting IRT parameters, and the estimation of manipulated problem characteristics’ impact on item difficulty by using the linear logistic test model (LLTM, Fischer, 1972). Results are truly promising and show negligible effects of different problem contexts on item difficulty and reasonably stable effects of altered problem characteristics. Thus, the majority of developed cognitive models could be used to generate a huge number of items (> 10.000.000) for the domain of numbers & operations with known psychometric properties without the need for expensive field-trials. We end with discussing lessons learned from item difficulty prediction per model and highlighting differences between the Grades. References: Fischer, G. H. (1973). The linear logistic test model as an instrument in educational research. Acta Psychologica, 36, 359-374. Gierl, M. J., & Haladyna, T. M. (Eds.). (2013). Automatic item generation: Theory and practice. New York, NY: Routledge. Gierl, M. J., Lai, H., Hogan, J., & Matovinovic, D. (2015). A Method for Generating Educational Test Items That Are Aligned to the Common Core State Standards. Journal of Applied Testing Technology, 16(1), 1–18. [less ▲]

Detailed reference viewed: 135 (2 UL)
Full Text
Peer Reviewed
See detailRésultats du monitoring scolaire national ÉpStan dans le contexte de la pandémie de COVID-19
Fischbach, Antoine UL; Colling, Joanne UL; Levy, Jessica UL et al

in LUCET; SCRIPT (Eds.) Rapport national sur l’éducation au Luxembourg 2021 (2021)

Detailed reference viewed: 33 (3 UL)
Full Text
Peer Reviewed
See detailBefunde aus dem nationalen Bildungsmonitoring ÉpStan vor dem Hintergrund der COVID-19- Pandemie
Fischbach, Antoine UL; Colling, Joanne UL; Levy, Jessica UL et al

in LUCET; SCRIPT (Eds.) Nationaler Bildungsbericht Luxemburg 2021 (2021)

Detailed reference viewed: 42 (11 UL)
Peer Reviewed
See detailRésultats du monitoring scolaire national ÉpStan dans le contexte de la pandémie de COVID-19 (Matériels supplémentaires)
Fischbach, Antoine UL; Colling, Joanne UL; Levy, Jessica UL et al

in LUCET; SCRIPT (Eds.) Rapport National sur l´Éducation au Luxembourg 2021 (2021)

Detailed reference viewed: 48 (12 UL)
Peer Reviewed
See detailBefunde aus dem nationalen Bildungsmonitoring ÉpStan vor dem Hintergrund der COVID-19 Pandemie (Supplement)
Fischbach, Antoine UL; Colling, Joanne UL; Levy, Jessica UL et al

in LUCET; SCRIPT (Eds.) Nationaler Bildungsbericht Luxemburg 2021 (2021)

Detailed reference viewed: 45 (10 UL)
Full Text
See detailSchülerkompetenzen im Längsschnitt - Die Entwicklung von Deutsch-Leseverstehen und Mathematik in Luxemburg zwischen der 3. und 9. Klasse
Sonnleitner, Philipp UL; Krämer, Charlotte UL; Gamo, Sylvie UL et al

Report (2018)

it der Erhebung der ÉpStan im Herbst 2016 liegt erstmalig ein Datensatz vor, der einen Einblick in die Entwicklung schulischer Kompetenzen zwischen der 3. Schulstufe (Zyklus 3.1) und der 9. Schulstufe (5e ... [more ▼]

it der Erhebung der ÉpStan im Herbst 2016 liegt erstmalig ein Datensatz vor, der einen Einblick in die Entwicklung schulischer Kompetenzen zwischen der 3. Schulstufe (Zyklus 3.1) und der 9. Schulstufe (5e bzw. 9e) erlaubt. Das vorliegende Kapitel gibt nun einen ersten Einblick in die längsschnittliche Kompetenzentwicklung in den Bereichen Deutsch-Leseverstehen und Mathematik. Hierfür werden die Testergebnisse der untersuchten Schülerkohorte aus den ÉpStan 2010 in der 3. Schulstufe (Zyklus 3.1) den Leistungen in der 9. Schulstufe (5e bzw. 9e) im Jahre 2016 gegenübergestellt. [less ▲]

Detailed reference viewed: 112 (9 UL)
Full Text
See detailSchulische Kompetenzen von Erstklässlern und ihre Entwicklung nach zwei Jahren.
Hoffmann, Danielle UL; Hornung, Caroline UL; Gamo, Sylvie UL et al

Report (2018)

Dieses Kapitel stellt die Befunde aus drei Datenerhebungen (2014, 2015, 2016) der ÉpStan im Zyklus 2.1 vor und zeigt welche schulischen Kompetenzen Erstklässler am Anfang ihrer Schullaufbahn aufweisen und ... [more ▼]

Dieses Kapitel stellt die Befunde aus drei Datenerhebungen (2014, 2015, 2016) der ÉpStan im Zyklus 2.1 vor und zeigt welche schulischen Kompetenzen Erstklässler am Anfang ihrer Schullaufbahn aufweisen und wie sich diese über zwei Jahre hinweg entwickeln. Allgemein betrachtet, sind die für den Zyklus 1 festgehaltenen Bildungsstandards in den drei überprüften Kernkompetenzen („Luxemburgisch-Hörverstehen“, „Vorläuferfertigkeiten der Schriftsprache“ und „Mathematik“) erfüllt. In allen drei Kompetenzen erreicht die Mehrheit der Schülerinnen und Schüler zu Beginn des Zyklus 2.1 das Niveau Avancé. Zwei Jahre später, im Zyklus 3.1, fällt die Verteilung der Schülerinnen und Schüler auf die verschiedenen Kompetenzränge negativer aus als im Zyklus 2.1. Hier haben vergleichsweise mehr Kinder das Niveau Socle in allen drei Kernkompetenzen noch nicht erreicht. Unsere Befunde zeigen außerdem, dass verschiedene außerschulische Faktoren (wie z. B. sozioökonomische Situation, Sprachhintergrund) bereits sehr früh im Verlauf der Schullaufbahn einen äußerst starken Einfluss auf die Testergebnisse haben und dass sich dieser Einfluss über die Jahre hinweg verstärkt. [less ▲]

Detailed reference viewed: 217 (13 UL)
Full Text
See detailLes compétences scolaires des enfants au début du cycle 2 de l'école fondamentale au Luxembourg et leur développement après deux ans.
Hoffmann, Danielle UL; Hornung, Caroline UL; Gamo, Sylvie UL et al

Report (2018)

Ce chapitre présente les résultats de trois collectes de données (2014, 2015, 2016) des ÉpStan au cycle 2.1 et présente avec quelles compétences scolaires les élèves débutent leur scolarité au début du ... [more ▼]

Ce chapitre présente les résultats de trois collectes de données (2014, 2015, 2016) des ÉpStan au cycle 2.1 et présente avec quelles compétences scolaires les élèves débutent leur scolarité au début du cycle 2.1 et comment celles-ci évoluent sur deux ans. De manière générale, nos résultats montrent que les compétences disciplinaires du cycle 1 portant sur les trois domaines d’apprentissage observés (« compréhension de l’oral en luxembourgeois », « compréhension de l’écrit» et « mathématiques ») sont acquises. Au début du cycle 2.1, la majorité des élèves atteint le Niveau Avancé dans l’ensemble des trois domaines d’apprentissage considérés. Deux ans plus tard, au cycle 3.1, la répartition des élèves sur les différents niveaux de compétence est plus négative qu’au cycle 2.1 et ceci dans la mesure où moins d’enfants ont atteint le Niveau Socle dans l’ensemble des trois domaines d’apprentissage observés. Nos résultats montrent également que, dès le début de la scolarité, différents facteurs extrascolaires (tels que le statut socio-économique et le contexte linguistique) ont une influence extrêmement forte sur les résultats des épreuves et que cette influence augmente au fil des années. [less ▲]

Detailed reference viewed: 137 (5 UL)
Peer Reviewed
See detailLongitudinal development of students‘ competencies in Mathematics and German reading comprehension
Sonnleitner, Philipp UL; Krämer, Charlotte UL; Gamo, Sylvie UL et al

Scientific Conference (2018, November 09)

Im Rahmen des luxemburgischen Schulmonitorings werden Schlüsselkompetenzen der Schülerinnen und Schüler der luxemburgischen Regelschulen in regelmäßigen Abständen durch die so genannten Épreuves ... [more ▼]

Im Rahmen des luxemburgischen Schulmonitorings werden Schlüsselkompetenzen der Schülerinnen und Schüler der luxemburgischen Regelschulen in regelmäßigen Abständen durch die so genannten Épreuves Standardisées (ÉpStan) gemessen. Diese längsschnittliche Begleitung der Schülerinnen und Schüler birgt die einmalige Chance, neue Erklärungsansätze für ein (alt)bekanntes Problem des luxemburgischen Schulsystems zu finden: die großen Unterschiede der Bildungschancen von Schülerinnen und Schüler je nach Geschlecht, sprachlichem und sozioökonomischem Hintergrund. Der vorliegende Beitrag gibt nun einen ersten Einblick in die längsschnittliche Kompetenzentwicklung in den Bereichen Deutsch-Leseverstehen und Mathematik. Hierfür werden die Testergebnisse der untersuchten Schülerkohorte aus den ÉpStan-Kompetenztests 2010 in der 3.Schulstufe den Leistungen in der 9. Schulstufe im Jahre 2016 gegenübergestellt. Die Darstellung der Entwicklungsverläufe mittels Sankey-Flussdiagrammen, erlaubt ein schnelles und intuitives Verständnis, von welchem Kompetenzniveau die Schülerinnen und Schüler in der 3. Klasse starten und welches sie schließlich in der 9. Klasse erreichen. Der Effekt von nachgewiesenermaßen einflussreichen, demografischen (Hintergrund-) Merkmalen wie Geschlecht, sprachlichem Hintergrund und sozioökonomischem Status wird dabei gesondert analysiert. Beim Blick auf die generellen Entwicklungsverläufe in den Bereichen Deutsch-Leseverstehen und Mathematik fällt vor allem eine sehr hohe Stabilität der Kompetenzeinstufungen auf: Schülerinnen und Schüler der 3. Klasse, deren Leistungen auf dem (erwartungskonformen) Niveau Socle oder Niveau Avancé liegen, verfügen in der Regel auch 6 Jahre später über hohe Deutsch- bzw. Mathematikkompetenzen. Umgekehrt verbleibt die Mehrheit der Schülerinnen und Schüler mit anfänglich schwachen Leistungen auch später auf einem niedrigen Kompetenzniveau. Bezieht man nun die Teilergebnisse zum Sprachhintergrund mit ein, lässt sich ganz klar folgern, dass die Unterrichtssprache hierfür einen entscheidenden Faktor darstellt: Schülerinnen und Schüler, die Luxemburgisch oder Deutsch als Muttersprache angeben, können sowohl in Deutsch-Leseverstehen als auch in Mathematik eher ein hohes Niveau halten bzw. sich im Laufe ihrer Schulkarriere auf ein solches verbessern. Portugiesischsprachige bzw. frankophone Schülerinnen und Schüler, die im Allgemeinen ohnehin auf einem niedrigeren Kompetenzniveau starten, können sich nur teilweise deutlich verbessern, profitieren aber vom Wechsel der Unterrichtssprache im Secondaire. Die Analysen zeigen darüber hinaus, dass typische Geschlechtsunterschiede, die auf einen Vorteil für Mädchen beim Lesen und einen leichten Vorteil für Jungen in Mathematik hindeuten, schon anfangs der 3. Klasse bestehen, und über die folgenden 6 Jahre weitgehend stabil bleiben. Zusammenfassend bestätigen die Ergebnisse die bereits mehrfach aufgezeigten landestypischen Probleme, erlauben aber eine feinere Aufschlüsselung und zeitliche Verortung der Wechselwirkungen zwischen Unterrichtssprache, sprachlichem und sozioökonomischem Schülerhintergrund, und bilden so die Grundlage für effektivere Interventionen. [less ▲]

Detailed reference viewed: 126 (18 UL)
Full Text
Peer Reviewed
See detailSchulische Kompetenzen von Erstklässlern und ihre Entwicklung nach zwei Jahren.
Hoffmann, Danielle UL; Hornung, Caroline; Gamo, Sylvie UL et al

Poster (2018, November 08)

Jedes Jahr werden in den luxemburgischen Schulen die ÉpStan (Épreuves Standardisées) durchgeführt. Hierbei handelt es sich um nationale Schulleistungstests, welche Kompetenzen im Bereich der Mathematik ... [more ▼]

Jedes Jahr werden in den luxemburgischen Schulen die ÉpStan (Épreuves Standardisées) durchgeführt. Hierbei handelt es sich um nationale Schulleistungstests, welche Kompetenzen im Bereich der Mathematik und den Schulsprachen (Luxemburgisch, Deutsch und Französisch) auf standardisierte Art messen. Der vorliegende Beitrag ist sowohl eine Bestandsaufnahme der Schülerschaft zu Beginn des formalen Bildungswegs als auch ein Bericht ihrer Evolution über zwei Jahre im luxemburgischen Schulsystem. Hierzu haben wir die Daten aus drei Erhebungen (2014, 2015, 2016) der ÉpStan analysiert. Zum einen zeigen wir, anhand von Daten aus drei verschiedenen Kohorten, welche schulischen Kompetenzen Erstklässler (Zyklus 2.1) am Anfang ihrer Schullaufbahn aufweisen. Zudem hatten wir die Möglichkeit die Schüler und Schülerinnen der ersten Erhebung (2014) zwei Jahre später im Zyklus 3.1 nochmals zu testen und somit ihren Entwicklungsverlauf über zwei Jahre im luxemburgischen Bildungssystem zu dokumentieren. Diese ersten längsschnittlichen Daten zeigen, dass die Mehrheit der Schülerinnen und Schüler zu Beginn des Zyklus 2.1 das Niveau Avancé in den drei überprüften Kernkompetenzen („Luxemburgisch-Hörverstehen“, „Vorläuferfertigkeiten der Schriftsprache“ und „Mathematik“) erreicht. Somit stellen wir fest, dass die für den ersten Lernzyklus festgehaltenen Bildungsstandards erfüllt sind. Zwei Jahre später fällt die Verteilung der Schülerinnen und Schüler auf die verschiedenen Kompetenzränge negativer aus als im Zyklus 2.1. Im Zyklus 3.1 haben vergleichsweise mehr Kinder das Niveau Socle in allen drei Kernkompetenzen („Deutsch-Hörverstehen“, „Deutsch-Leseverstehen“ und „Mathematik“) noch nicht erreicht. Unsere Befunde zeigen außerdem, dass verschiedene außerschulische Faktoren (wie z. B. sozioökonomische Situation, Sprachhintergrund) bereits sehr früh im Verlauf der Schullaufbahn einen äußerst starken Einfluss auf die Testergebnisse haben und sich dieser Einfluss über die Jahre hinweg verstärkt. Abschließend präsentieren und diskutieren wir verschiedene Erklärungsansätze für diesen beobachteten Schereneffekt. [less ▲]

Detailed reference viewed: 140 (10 UL)