Komplexes Problemlösen in Large Scale Assessments: Konstruktvalidität eines innovativen Assessments

Aktuelle Tests zum Komplexen Problemlösen (KPL) geben an dynamische und interaktive Probleme, wie sie beim Lernen und am Arbeitsplatz immer mehr vorkommen, zu simulieren. Dabei überschneidet sich KPL empirisch teilweise mit allgemeiner Intelligenz. Einzelbefunde sagen zwar Erfolg in Schule und Beruf durch KPL über Intelligenz hinaus vorher, doch spätestens mit der Aufnahme in Large Scale Assessments (LSA) wie PISA steht eine Validierung von KPL auf Konstruktebene aus, um die Anwendbarkeit in LSA empirisch zu fundieren. Ergebnisse zu konvergenter, divergenter und prädiktiver Validität dreier Messinstrumente für KPL sind die Ausganglage für die Fragestellungen, ob (1) drei KPL-Tests empirisch konvergieren, (2) KPL klar abgrenzbar von Intelligenz ist und (3) KPL auf Konstruktebene Schulerfolg vorhersagt?
Wir untersuchten eine studentische Stichprobe (n=339) mit KPL-Tests ähnlicher zugrundeliegender Struktur und einem Matrizentest zu schlussfolgerndem Denken als Intelligenzmaß. Schulnoten als Maß für Schulerfolg wurden ebenfalls erhoben. Für Frage (1) kam ein Multitrait-Multimethod-Ansatz zum Einsatz, der die Generalisierbarkeit von Ergebnissen einzelner Messmethoden auf die Konstruktebene empirisch prüft. Für die Fragen (2) und (3), die Zusammenhänge zu schlussfolgerndem Denken und Schulerfolg betrachten, verwendeten wir Strukturgleichungsmodelle.
Mit Konsistenzmaßen zwischen .50 und .60 sind die KPL-Tests ausreichend konvergent in dem, was sie messen. Damit sind die KPL-Werte relativ unabhängig von ihren Instrumenten. Wir haben auch Hinweise, dass KPL verschieden ist von Intelligenz, indem letzteres zwei KPL Dimensionen, Wissenserwerb und Wissensanwendung, nur mit βERW=.49 und βANW=.53 vorhersagte. Schulerfolg klärte KPL unabhängig von Intelligenz für naturwissenschaftliche Fächer mit βKPL=.22 auf. Die Ergebnisse bestätigen die Anwendbarkeit von innovativen KPL Assessments auch in sehr großen Erhebungen und stärken nicht zuletzt die Tragfähigkeit von Entscheidungen in der Praxis, die auf solche Ergebnisse zurückgreift und auf deren Validität angewiesen ist.