educational knowledge; knowledge test; professional knowledge; Teacher education; test development; validity; Clinical Psychology
Abstract :
[en] We describe the development of the revised BilWiss-2.0 Test, assessing generic educational knowledge and we present evidence for the reliability of the test and the validity of the test score interpretations. Educational knowledge covers knowledge domains that are directly related to instruction and other potentially relevant distant knowledge aspects such as educational theory and knowledge about the teaching profession. The short test version includes 65 items, whereas the long version contains 119 items from six knowledge domains. We applied 2-PL partial-credit item response theory (IRT) models to a data set collected from 788 teacher students from different German universities. With regard to the empirical structure of the test, structural equation models indicated a good fit of the model with six correlated latent factors. Small significant correlations between test performance and the number of relevant university courses attended and grades attained during university studies support the convergent and prognostic validity of test score interpretations. Moreover, students who repeated at least one examination showed significantly lower test performance than students who passed on the first try.
Maurer, Christina; Institut für Psychologie, Goethe-Universität, Frankfurt am Main, Germany
Wolf, Kristin; Institut für Psychologie, Goethe-Universität, Frankfurt am Main, Germany
Holzberger, Doris; TUM School of Education, Technische Universität München, München, Germany
Schmidt, Maria; TUM School of Education, Technische Universität München, München, Germany
Dicke, Theresa; Institute for Positive Psychology and Education, Australian Catholic University, North Sydney, Australia
TEUBER, Ziwen ; University of Luxembourg > Faculty of Humanities, Education and Social Sciences (FHSE) > Department of Behavioural and Cognitive Sciences (DBCS) > Cognitive Science and Assessment ; Fakultät für Psychologie und Sportwissenschaft, Universität Bielefeld, Bielefeld, Germany
Koc-Januchta, Marta; Fakultät für Bildungswissenschaften, Universität Duisburg-Essen, Essen, Germany
scite shows how a scientific paper has been cited by providing the context of the citation, a classification describing whether it supports, mentions, or contrasts the cited claim, and a label indicating in which section the citation was made.
Bibliography
Alles, M., Apel, J., Seidel, T. & Stürmer, K. (2019). Candidate Teachers Experience Coherence in University Education and Teacher Induction: The Influence of Perceived Professional Preparation at University and Support during Teacher Induction. Vocations and Learning, 12, 87-112. https://doi.org/10.1007/s12186-018-9211-5
Baumert, J. & Kunter, M. (2006). Stichwort: Professionelle Kompetenz von Lehrkräften. Zeitschrift für Erziehungswissenschaft, 9, 469-520.
Baumert, J., Kunter, M., Blum, W., Brunner, M., Voss, T., Jordan, A. et al. (2010). Teachers' mathematical knowledge, cognitive activation in the classroom, and student progress. American Educational Research Journal, 47, 133-180.
Blömeke, S., Bremerich-Vos, A., Kaiser, G., Nold, G. & Schwippert, K. (2013). Kompetenzen im Studienverlauf: Weitere Ergebnisse zur Deutsch-, Englisch-und Mathematiklehrerausbildung aus TEDS-LT. Münster: Waxmann.
Darling-Hammond, L., Chung, R. & Frelow, F. (2002). Variation in Teacher Preparation: How Well Do Different Pathways Prepare Teachers To Teach. Journal of Teacher Education, 53, 286-302.
Dicke, T., Parker, P. D., Holzberger, D., Kunina-Habenicht, O., Kunter, M. & Leutner, D. (2015). Beginning teachers' efficacy and emotional exhaustion: Latent changes, reciprocity, and the influence of professional knowledge. Contemporary Educational Psychology, 41, 62-72.
Hohenstein, F., Kleickmann, T., Zimmermann, F., Köller, O. & Möller, J. (2017). Erfassung von pädagogischem und psychologischem Wissen in der Lehramtsausbildung: Entwicklung eines Messinstruments. Zeitschrift für Pädagogik, 63 (1), 91-113.
Hohenstein, F., Zimmermann, F., Kleickmann, T., Köller, O. & Möller, J. (2014). Sind die bildungswissenschaftlichen Standards für die Lehramtsausbildung in den Curricula der Hochschulen angekommen? Zeitschrift für Erziehungswissenschaft, 17, 497-507.
Hu, L. T. & Bentler, P. M. (1999). Cut-off criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modelling, 6, 1-55.
Jüttner, M., Boone, W., Park, S. & Neuhaus, B. J. (2013). Development and use of a test instrument to measure biology teachers' content knowledge (CK) and pedagogical content knowledge (PCK). Educational Assessment, Evaluation and Accountability, 25 (1), 45-67.
Kleickmann, T., Großschedl, J., Harms, Z., Heinze, A., Herzog, S., Hohenstein, F. et al. (2014). Professionswissen von Lehramtsstudierenden der mathematisch-naturwissenschaftlichen Fächer-Testentwicklung im Rahmen des Projekts KiL. Unterrichtswissenschaft. Unterrichtswissenschaft, 42, 280-288.
Kline, R. B. (2011). Principles and Practice of Structural Equation Modeling (3rd ed.). New York, NY: The Guilford Press.
König, J. & Blömeke, S. (2009). Pädagogisches Wissen von angehenden Lehrkräften. Erfassung und Struktur von Ergebnissen der fachübergreifenden Lehrerausbildung. Zeitschrift für Erziehungswissenschaft, 12, 499-527.
König, J., Ligtvoet, R., Klemenz, S. & Rothland, M. (2017). Effects of Opportunities to Learn in Teacher Preparation on Future Teachers' General Pedagogical Knowledge: Analyzing Program Characteristics and Outcomes. Studies in Educational Evaluation, 53, 122-133.
Kunina-Habenicht, O., Lohse-Bossenz, H., Kunter, M., Dicke, T., Förster, D., Gößling, J. et al. (2012). Welche bildungswissenschaftlichen Inhalte sind wichtig in der Lehrerbildung? Ergebnisse einer Delphi-Studie. Zeitschrift für Erziehungswissenschaft, 15, 649-682.
Kunina-Habenicht, O., Maurer, C., Schulze-Stocker, F., Wolf, K., Hein, N., Leutner, D., Seidel, T. & Kunter, M. (2019). Zur curricularen Validität des BilWiss 2.0-Tests zur Erfassung des bildungswissenschaftlichen Wissens von (angehenden) Lehrkräften. Zeitschrift für Pädagogik, 65, 542-556.
Kunina-Habenicht, O., Schulze-Stocker, F., Kunter, M., Baumert, J., Leutner, D., Förster, D. et al. (2013). Die Bedeutung der Lerngelegenheiten im Lehramtsstudium und deren individuelle Nutzung für den Aufbau des bildungswissenschaftlichen Wissens. Zeitschrift für Pädagogik, 59 (1), 1-23.
Kunter, M., Klusmann, U., Baumert, J., Richter, D., Voss, T. & Hachfeld, A. (2013). Professional Competence of Teachers: Effects on Instructional Quality and Student Development. Journal of Educational Psychology, 105, 805-820.
Kunter, M., Kunina-Habenicht, O., Dicke, T., Holzberger, D., Lohse-Bossenz, H., Leutner, D. et al. (2017). Bildungswissenschaftliches Wissen und professionelle Kompetenz in der Lehramtsausbildung: Ergebnisse des Projekts BilWiss. In C. Gräsel & K. Trempler (Hrsg.), Entwicklung von Professionalität pädagogischen Personals. Interdisziplinäre Betrachtungen, Befunde und Perspektiven (S. 37-54). Heidelberg: Springer VS.
Lange, K., Ohle, A., Kleickmann, T., Kauertz, A., Möller, K. & Fischer, H. (2015). Zur Bedeutung von Fachwissen und fachdidaktischem Wissen für Lernfortschritte von Grundschülerinnen und Grundschülern im naturwissenschaftlichen Sachunterricht. Zeitschrift für Grundschulforschung, 8 (1), 23-38.
Lenske, G., Thillmann, H., Wirth, J., Dicke, T. & Leutner, D. (2015). Pädagogisch-psychologisches Professionswissen von Lehrkräften: Evaluation des ProwiN-Tests. Zeitschrift für Erziehungswissenschaft, 1-21.
Linninger, C., Kunina-Habenicht, O., Emmenlauer, S., Dicke, T., Schulze-Stocker, F., Leutner, D. et al. (2015). Assessing Teachers' Educational Knowledge: Construct Specification and Validation Using Mixed Methods. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 47, 72-83.
Lohse-Bossenz, H., Kunina-Habenicht, O., Dicke, T., Leutner, D. & Kunter, M. (2015). Teachers' knowledge about psychology: Development and validation of a test measuring theoretical foundations for teaching and its relation to instructional behavior. Studies in Educational Evaluation, 44, 36-49.
McDonald, R. P. (1999). Test theory: A unified treatment. Mahwah, NJ: Lawrence Erlbaum Associates.
Muraki, E. (1992). A Generalized Partial Credit Model: Application of an EM Algorithm. Applied Psychological Measurement, 16, 159-176.
Müser, S., Fleischer, J. & Leutner, D. (2018). Die KMK-Standards in der Lehrerbildung. Konzeption und Validierung eines Messinstruments. (Vortrag auf der Tagung der Arbeitsgruppe für Empirische Pädagogische Forschung AEPF, Lüneburg, 24.-26. 09. 2018).
Muthén, L. K. & Muthén, B. (1998-2017). Mplus (Version 8). Los Angeles, CA: Muthén & Muthén.
Oser, F. (2001). Standards: Kompetenzen von Lehrpersonen. In F. Oser & J. Oelkers (Hrsg.), Die Wirksamkeit der Lehrerbildungssysteme. Von der Allrounderbildung zur Ausbildung professioneller Standards (S. 215-336). Zürich: Ruëgger.
Robitzsch, A., Kiefer, T. & Wu, M. (2017). TAM: Test analysis modules. R package (Version 2.6-2).
Schleicher, A. (2016). Teaching Excellence through Professional Learning and Policy Reform. Paris: OECD.
Schmidt-Atzert, L. & Amelang, M. (2012). Psychologische Diagnostik (5., vollst. überarb., akt. und erw. Aufl.). Heidelberg: Springer.
Schulze-Stocker, F., Holzberger, D., Kunina-Habenicht, O., Terhart, E. & Kunter, M. (2016). Spielen Studienschwerpunkte wirklich eine Rolle? Zum Zusammenhang von bildungswissenschaftlichen Studienschwerpunkten, selbsteingeschätzten Kenntnissen und gemessenem Wissen am Ende eines Lehramtsstudiums. Zeitschrift für Erziehungswissenschaft, 19, 599-623.
Schulze-Stocker, F., Holzberger, D. & Lohse-Bossenz, H. (2017). Das bildungswissenschaftliche Curriculum-Zentrale Ergebnisse des BilWiss-Programms. Das Hochschulwesen, 65 (4+5), 134-138.
Seifert, A., Hilligus, A. H. & Schaper, N. (2009). Entwicklung und psychometrische Überprüfung eines Messinstruments zur Erfassung pädagogischer Kompetenzen in der universitären Lehrerbildung. Lehrerbildung auf dem Prüfstand, 2, 82-103.
Seifert, A. & Schaper, N. (2010). Überprüfung eines Kompetenzmodells und Messinstruments zur Strukturierung allgemeiner pädagogischer Kompetenz in der universitären Lehrerbildung. Lehrerbildung auf dem Prüfstand, 3, 179-198.
Shulman, L. S. (1986). Those who understand: Knowledge growth in teaching. Educational Researcher, 15 (2), 4-21.
Ständige Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK). (2014). Standards für die Lehrerbildung: Bildungswissenschaften. vom 16. 12. 2004 i. d. F. vom 16. 05. 2019. https://www.kmk.org/fileadmin/veroeffentlichungen-beschluesse/2004/2004-12-16-Standards-Lehrerbildung-Bildungswissenschaften.pdf
Tachtsoglou, S. & König, J. (2017). Der Einfluss universitärer Lerngelegenheiten auf das pädagogische Wissen von Lehramtsstudierenden. Zeitschrift für Bildungsforschung, 7, 291-310.
Terhart, E. (2012)..,Bildungswissenschaften": Verlegenheitslösung, Sammeldisziplin, Kampfbegriff. Zeitschrift für Pädagogik, 58 (1), 22-39.
Veenman, S. (1984). Perceived problems of beginning teachers. Review of Educational Research, 54, 143-178.
Voss, T., Kunina-Habenicht, O., Hoehne, V. & Kunter, M. (2015). Stichwort Pädagogisches Wissen von Lehrkräften: Empirische Zugänge und Befunde. Zeitschrift für Erziehungswissenschaft, 18, 187-223.
Voss, T., Kunter, M. & Baumert, J. (2011). Assessing teacher candidates' general pedagogical and psychological knowledge: Test construction and validation. Journal of Educational Psychology, 103, 952-969.
Xia, Y. & Yang, Y. (2018). RMSEA, CFI, and TLI in structural equation modeling with ordered categorical data: The story they tell depends on the estimation methods. Behavior Research Methods, 51, 409-428. https://doi.org/10.3758/s13428-018-1055-2
Yu, C.-Y. (2002). Evaluating cutoff criteria of model fit indices for latent variable models with binary and continuous outcomes. Los Angeles, CA: University of California.
