Reference : Konstruktvalidität des Komplexen Problemlösens unter besonderer Berücksichtigung m...
Dissertations and theses : Doctoral thesis
Social & behavioral sciences, psychology : Theoretical & cognitive psychology
http://hdl.handle.net/10993/22584
Konstruktvalidität des Komplexen Problemlösens unter besonderer Berücksichtigung moderner diagnostischer Ansätze
German
[en] Construct validity of complex problem solving with particular focus on modern assessment approaches
Kretzschmar, André mailto [University of Luxembourg > Faculty of Language and Literature, Humanities, Arts and Education (FLSHASE) > Education, Culture, Cognition and Society (ECCS) >]
23-Nov-2015
University of Luxembourg, ​Esch-sur-Alzette, ​​Luxembourg
Docteur en Psychologie
Greiff, Samuel mailto
Martin, Romain mailto
Ziegler, Matthias
Krumm, Stefan
Wüstenberg, Sascha
[en] complex problem solving ; intelligence ; validity ; psychometrics
[de] Diese Dissertation beschäftigt sich mit der Frage, ob die Fähigkeit zum Lösen komplexer Probleme als ein eigenständiges Fähigkeitskonstrukt verstanden werde sollte, welches in den etablierten Konzeptualisierungen von Intelligenz bisher nicht ausreichend berücksichtigt wird.

Dazu wird im ersten Teil dieser Arbeit (Kapitel 1) eine Einführung in das Forschungsfeld des Komplexen Problemlösens (KPL) gegeben. Dabei zeigt sich, dass die KPL-Forschung seit jeher stark von der Güte der verwendeten Messinstrumente bestimmt wird, das heißt die Beantwortung der Frage nach einem eigenständigen KPL-Konstrukt insbesondere unter Berücksichtigung der Qualität der KPL-Operationalisierungen vorzunehmen ist.

Der zweite Teil dieser Arbeit widmet sich entsprechend der KPL-Diagnostik. In Kapitel 2 werden grundsätzliche Herausforderungen an die KPL-Diagnostik dargestellt, bevor die wichtigsten Vor- und Nachteile aktueller KPL-Tests am Beispiel von MicroDYN diskutiert werden. Darauf aufbauend werden in Kapitel 3 die Entwicklung sowie erste empirische Ergebnisse eines neuen KPL-Tests namens MicroFIN vorgestellt. Kapitel 4 beschäftigt sich mit einem für die grundsätzlich computerbasierte KPL-Diagnostik besonders relevanten Thema: dem Einfluss der ICT-Literacy (d.h. Kompetenz im Umgang mit Computern) auf spezifische KPL-Tests. Dazu wird in Studie 1 die Relevanz der ICT-Literacy für die Leistung bei MicroDYN an drei verschiedenen Stichproben (N1 = 222, N2 = 341, N3 = 389) untersucht. Zusätzlich werden die Ergebnisse zum Einfluss der ICTLiteracy auf die Leistung bei MicroFIN auf Basis einer Pilotstichprobe (N = 91) dargestellt. Die Ergebnisse weisen darauf hin, dass ICT-Literacy weder die Leistung bei MicroDYN noch bei MicroFIN in einer validitätsgefährdenden Art und Weise beeinflusst.

Der dritte Teil dieser Arbeit beschäftigt sich mit der zentralen Fragestellung dieser Dissertation, das heißt ob KPL als eigenständiges, kognitives Fähigkeitskonstrukt in Abgrenzung zu etablierten Intelligenzkonstrukten aufgefasst werden sollte oder nicht. Dazu werden in Kapitel 5 Kriterien für die Bewertung eines eigenständigen Fähigkeitskonstrukts unter Berücksichtigung aktueller Forschungsergebnisse für KPL besprochen. Sich daraus ergebende, offene Fragestellungen für die Annahme eines eigenständigen KPL-Konstrukts werden in zwei empirischen Studien untersucht.

In Studie 2 (Kapitel 6; N = 1908) steht die inkrementelle Validität von KPL über verbales Reasoning bezüglich der statistischen Erklärung von Schulnoten im Mittelpunkt. Dazu werden erstmals in der neueren KPL-Forschung weitere Einflussgrößen auf Schulnoten (d.h. schulfachliche Kompetenzen) in der mathematischen und sprachlichen Domäne berücksichtigt. Die Ergebnisse deuten auf eine inkrementelle Validität von KPL in der mathematischen, nicht aber in der sprachlichen Domäne hin. Zusätzlich liefert die Studie Hinweise darauf, dass sich die inkrementelle Validität substantiell verringert, wenn zusätzlich schulfachliche Kompetenzen als relevante Prädiktoren der Schulnoten berücksichtigt werden.

In Studie 3 (Kapitel 7; N = 227) wird die Validität von KPL in Verbindung mit einer umfangreichen Operationalisierung verschiedener Intelligenzkonstrukte überprüft. Es zeigen sich konvergente sowie diskriminante Validitätsbelege, so dass KPL als spezifische kognitive Fähigkeit interpretiert werden könnte, die in traditionellen Intelligenztests keine Berücksichtigung findet. Hinsichtlich der inkrementellen Validität von KPL bei der statistischen Vorhersage der Schulnoten über etablierte Intelligenzkonstrukte hinaus zeigt sich, dass der Nachweis der inkrementellen Varianzaufklärung nur bei einer spezifischen, nicht jedoch bei einer konstruktrepräsentativen Operationalisierung der Intelligenz gelingt. In Kapitel 8 wird eine alternative Interpretation der in Kapitel 7 aufgezeigten, spezifischen KPL-Varianz vorgestellt, welche in der bisherigen KPL-Forschung noch keine Berücksichtigung gefunden hat. Nach dieser Sichtweise wird KPL vielmehr als eine eigene Inhaltsfacette kognitiver Aufgaben aufgefasst, nicht jedoch als eigenständige kognitive Fähigkeit.

Im letzten Teil dieser Arbeit (Kapitel 9) werden die gewonnenen Ergebnisse und Erkenntnisse zur Diagnostik und Konstruktvalidität von KPL diskutiert. Unter Berücksichtigung aktueller KPL-Tests und den Ergebnissen für MicroFIN werden noch offene Forschungsfragen und Entwicklungspotenziale für die KPL-Diagnostik aufgezeigt. Anschließend werden die Befunde aus Studie 2 und 3 zur Konstruktvalidität hinsichtlich der Kriterien für ein eigenständiges Fähigkeitskonstrukt eingeordnet. Darauf aufbauend wird die Annahme eines KPL-Konstrukts im nomologischen Netzwerk der Intelligenz bewertet. Dabei wird deutlich, dass die Annahme eines eigenständigen KPL-Konstrukts in Abgrenzung von etablierten Intelligenzkonstrukten derzeit nicht gerechtfertigt erscheint, wobei weitere Forschungsbemühungen zur Klärung dieser Frage notwendig sind.
[en] This thesis addresses the question whether Complex Problem Solving (CPS) could be seen as a distinct cognitive ability construct that is not considered sufficiently in the context of established theories of intelligence.

For this purpose, an introduction into the research field of CPS is provided in the first part of this thesis (chapter 1). It is shown that CPS research has always been strongly influenced by the quality of the assessment tools. Therefore, to evaluate whether CPS is an independent construct requires a particular emphasis on the quality of the CPS assessment tools.

Consequently, the second part of this work deals with the assessment of CPS. In chapter 2, the general challenges for CPS assessment as well as important advantages and disadvantages of contemporary CPS assessment tools (using the example of MicroDYN) are discussed. In chapter 3, the development and first empirical results of a new CPS assessment tool called MicroFIN are presented. Chapter 4 covers a particular relevant topic of computer-based CPS assessment: the influence of ICT literacy (i.e. the competence in using computers) on specific CPS assessment tools. For this purpose, the impact of ICT literacy on MicroDYN performance is examined in three different samples (N1 = 222, N2 = 341, N3 = 389). In addition, based on a sample of a pilot study (N = 91) the influence of ICT literacy on MicroFIN performance is presented. The results indicate that the impact of ICT Literacy appears neither for MicroDYN nor for MicroFIN as a threat of test validity.

The third part of this work covers the central question of this thesis, that is whether CPS could be seen as a distinct cognitive ability construct that is independent of established intelligence constructs. Therefore, several criteria for an independent ability construct are discussed in chapter 5. Taking current research findings for CPS into account, open research questions for the assumption of a distinct CPS construct are examined in two empirical studies.

Study 2 (chapter 6; N = 1908) focuses on the incremental validity of CPS beyond verbal reasoning in explaining the variance of school grades. For the first time in current CPS research, additional predictors for school grades (i.e. school competencies) in the mathematical and the reading domain are considered. The results indicate an incremental validity of CPS in the mathematical, but not in the reading domain. In addition, the study provides evidence that the incremental validity of CPS holds only to a small degree if relevant predictors of school grades are simultaneously taken into account.

In study 3 (chapter 7; N = 227), the validity of CPS is examined with a comprehensive operationalisation of several intelligence constructs. The results indicate evidence for convergent and discriminant validity. Consequently, CPS could be seen as a specific cognitive ability that is less covered by traditional intelligence tests. With regard to the incremental validity of CPS, evidence for a statistical prediction of school grades beyond established intelligence constructs is only found for a specific, but not for a construct-representative operationalisation of intelligence. In chapter 8, an alternative interpretation of the specific CPS variance is discussed. Based on that interpretation, which has not been considered in CPS research yet, CPS can be seen as a specific content facet of cognitive tasks, but not as an independent cognitive ability.

In the last part of this thesis (chapter 9), the findings and considerations concerning the assessment and construct validity of CPS are summarized. Considering current CPS assessment tools and the results for MicroFIN, research questions that are still open and the potential for future CPS assessment are presented. Furthermore, the findings from study 2 and 3 are reviewed with regard to the criteria for an independent ability construct. Finally, the assumption of a distinct CPS construct in the nomological network of intelligence is evaluated. Although further research is needed to clarify this issue, currently the assumption of a distinct CPS construct independent from established intelligence constructs does not seem justified.
Researchers ; Professionals ; Students ; General public
http://hdl.handle.net/10993/22584

File(s) associated to this reference

Fulltext file(s):

FileCommentaryVersionSizeAccess
Open access
Kretzschmar_Dissertation_finalprint_20150112.pdfAuthor postprint2.43 MBView/Open

Bookmark and Share SFX Query

All documents in ORBilu are protected by a user license.