TY - CHAP

T1 - PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar?

AU - van den Ham, Ann-Katrin

AU - Ehmke, Timo

AU - Sälzer, Christine

AU - Schroeders, Ulrich

N1 - Conference code: 2

PY - 2014/3

Y1 - 2014/3

N2 - Die mathematische Kompetenz von Jugendlichen am Ende der Sekundarschulzeit wird in Deutschland derzeit in mehreren nationalen und internationalen Large Scale Assessments gemessen. Hierzu zählen etwa das Programme for International Student Assessment (PISA), der nationale Ländervergleich der Bildungsstandards (BiSta) und die Erhebungen im Nationalen Bildungspanel (NEPS). Inwieweit sind diese Kompetenzmessungen aber vergleichbar und erfassen das gleiche Konstrukt von mathematischer Kompetenz? Obwohl alle drei Studien mathematische Kompetenz erfassen, lassen sich die Studienergebnisse nicht direkt in Beziehung setzen, da sie auf unterschiedlichen Rahmenkonzeptionen und Berichtsskalen beruhen.So ist PISA eine internationale Schulleistungsstudie, die seit 2000 in einem dreijährlichen Rhythmus von der OECD durchgeführt wird und das Ziel verfolgt, mathematische Kompetenzen im Sinne von Mathematical Literacy zu messen (OECD 2003). Dabei geht es vor allem um die funktionale Anwendung von Mathematik in alltagsnahen Kontexten.Der nationale Ländervergleich untersucht für die 9. Jahrgangsstufe die mathematischen Kompetenzen der Schülerinnen und Schüler mit dem Ziel, festzustellen, inwieweit in den Bundesländern die deutschlandweit verbindlichen Bildungsstandards erreicht werden (Pant, Stanat, Pöhlmann & Böhme, 2013). Die Definition der Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss weist zwar eine strukturelle Ähnlichkeit zur PISA-Rahmenkonzeption in Mathematik auf, ist aber inhaltlich stärker auf die unterrichtliche Situation in Deutschland angepasst (KMK, 2003). Das nationale Bildungspanel (NEPS) hingegen ist eine Längsschnittsstudie, die die Bildungsprozesse und unter anderem die Kompetenzentwicklung in Mathematik über die Lebensspanne analysiert. Die Rahmenkonzeption für die Erhebungen in Mathematik orientiert sich an den Kompetenzstrukturmodellen aus PISA und den Bildungsstandards, überträgt diese Struktur jedoch auch auf andere Alterskohorten, um die gesamte Lebensspanne abzudecken (Blossfeld, von Maurice & Schneider, 2011).Um die Äquivalenz der Kompetenzmessungen in Mathematik zwischen diesen drei LSA zu überprüfen, wurde eine Validierungsstudie durchgeführt. Diese Studie basiert auf einer Stichprobe von 80 Schulen mit N = 1965 Schülerinnen und Schülern aus der neunten Klassenstufe. Alle Schülerinnen und Schüler haben in einem Rotationsdesign die Mathematiktests vom Ländervergleich, aus NEPS und PISA an zwei Testtagen bearbeitet. Anhand dieses Single-Group-Designs lässt sich die Äquivalenz der drei Kompetenzmessungen analysieren, indem in drei Schritten die konzeptionelle, die dimensionale und die skalenbezogene Vergleichbarkeit der Studien geprüft wird (Kolen & Brennan, 2010). Die Ergebnisse des konzeptionellen Vergleichs zeigen, dass die Kompetenzmessung in NEPS, trotz einiger Abweichungen im Framework und den Itemformaten, konzeptionell eine hohe Ähnlichkeit zu PISA und zum Ländervergleich aufweist. Aus Ergebnissen eines Expertenreviews ergibt sich weiterhin, dass sich alle Aufgaben des NEPS-Mathematiktests in die Testkonzeptionen vom Ländervergleichs und von PISA übertragen lassen. Der zweite Schritt der Untersuchung beinhaltet die Analyse der dimensionalen Äquivalenz. Mit Hilfe von multidimensionalen IRT-Modellen wurden die latenten Korrelationen innerhalb der Subskalen der Testinstrumente und zwischen den Studien berechnet. Dabei sind die latenten Korrelationen mit r = .86 zwischen NEPS und PISA sowie r = .90 zwischen NEPS und Ländervergleich als hoch zu bezeichnen. Insgesamt kann die dimensionale Struktur als durchaus vergleichbar eingeschätzt werden.In Bezug auf die Skalenäquivalenz soll abschließend diskutiert werden, in wie weit sich die Skalenmetriken und Kompetenzstufenmodelle vom Ländervergleich und von PISA auf den NEPS-Mathematiktest übertragen lassen.• Blossfeld, H., von Maurice, J., & Schneider, T. (2011). 1 the national educational panel study: Need, main features, and research potential das Nationale Bildungspanel: Notwendigkeit, Grundzüge und Analysepotential. Zeitschrift Für Erziehungswissenschaft, 14(2), 5-17. doi:10.1007/s11618-011-0178-3• Kolen, M. J. & Brennan, R. L. (2010): Test Equating, Scaling, and Linking. Methods and Practices. Springer.• Kultusministerkonferenz (2003). Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.• OECD (2003). The PISA 2003 Assessment framework – Mathematics, reading, science and problem solving knowledge and skills. Paris: OECD.• Pant, H. A., Stanat, P., Pöhlmann, C. & Böhme, K (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem, In Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & Pöhlmann, C. (Hrsg.): IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I, Münster: Waxmann, S. 13-22.

AB - Die mathematische Kompetenz von Jugendlichen am Ende der Sekundarschulzeit wird in Deutschland derzeit in mehreren nationalen und internationalen Large Scale Assessments gemessen. Hierzu zählen etwa das Programme for International Student Assessment (PISA), der nationale Ländervergleich der Bildungsstandards (BiSta) und die Erhebungen im Nationalen Bildungspanel (NEPS). Inwieweit sind diese Kompetenzmessungen aber vergleichbar und erfassen das gleiche Konstrukt von mathematischer Kompetenz? Obwohl alle drei Studien mathematische Kompetenz erfassen, lassen sich die Studienergebnisse nicht direkt in Beziehung setzen, da sie auf unterschiedlichen Rahmenkonzeptionen und Berichtsskalen beruhen.So ist PISA eine internationale Schulleistungsstudie, die seit 2000 in einem dreijährlichen Rhythmus von der OECD durchgeführt wird und das Ziel verfolgt, mathematische Kompetenzen im Sinne von Mathematical Literacy zu messen (OECD 2003). Dabei geht es vor allem um die funktionale Anwendung von Mathematik in alltagsnahen Kontexten.Der nationale Ländervergleich untersucht für die 9. Jahrgangsstufe die mathematischen Kompetenzen der Schülerinnen und Schüler mit dem Ziel, festzustellen, inwieweit in den Bundesländern die deutschlandweit verbindlichen Bildungsstandards erreicht werden (Pant, Stanat, Pöhlmann & Böhme, 2013). Die Definition der Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss weist zwar eine strukturelle Ähnlichkeit zur PISA-Rahmenkonzeption in Mathematik auf, ist aber inhaltlich stärker auf die unterrichtliche Situation in Deutschland angepasst (KMK, 2003). Das nationale Bildungspanel (NEPS) hingegen ist eine Längsschnittsstudie, die die Bildungsprozesse und unter anderem die Kompetenzentwicklung in Mathematik über die Lebensspanne analysiert. Die Rahmenkonzeption für die Erhebungen in Mathematik orientiert sich an den Kompetenzstrukturmodellen aus PISA und den Bildungsstandards, überträgt diese Struktur jedoch auch auf andere Alterskohorten, um die gesamte Lebensspanne abzudecken (Blossfeld, von Maurice & Schneider, 2011).Um die Äquivalenz der Kompetenzmessungen in Mathematik zwischen diesen drei LSA zu überprüfen, wurde eine Validierungsstudie durchgeführt. Diese Studie basiert auf einer Stichprobe von 80 Schulen mit N = 1965 Schülerinnen und Schülern aus der neunten Klassenstufe. Alle Schülerinnen und Schüler haben in einem Rotationsdesign die Mathematiktests vom Ländervergleich, aus NEPS und PISA an zwei Testtagen bearbeitet. Anhand dieses Single-Group-Designs lässt sich die Äquivalenz der drei Kompetenzmessungen analysieren, indem in drei Schritten die konzeptionelle, die dimensionale und die skalenbezogene Vergleichbarkeit der Studien geprüft wird (Kolen & Brennan, 2010). Die Ergebnisse des konzeptionellen Vergleichs zeigen, dass die Kompetenzmessung in NEPS, trotz einiger Abweichungen im Framework und den Itemformaten, konzeptionell eine hohe Ähnlichkeit zu PISA und zum Ländervergleich aufweist. Aus Ergebnissen eines Expertenreviews ergibt sich weiterhin, dass sich alle Aufgaben des NEPS-Mathematiktests in die Testkonzeptionen vom Ländervergleichs und von PISA übertragen lassen. Der zweite Schritt der Untersuchung beinhaltet die Analyse der dimensionalen Äquivalenz. Mit Hilfe von multidimensionalen IRT-Modellen wurden die latenten Korrelationen innerhalb der Subskalen der Testinstrumente und zwischen den Studien berechnet. Dabei sind die latenten Korrelationen mit r = .86 zwischen NEPS und PISA sowie r = .90 zwischen NEPS und Ländervergleich als hoch zu bezeichnen. Insgesamt kann die dimensionale Struktur als durchaus vergleichbar eingeschätzt werden.In Bezug auf die Skalenäquivalenz soll abschließend diskutiert werden, in wie weit sich die Skalenmetriken und Kompetenzstufenmodelle vom Ländervergleich und von PISA auf den NEPS-Mathematiktest übertragen lassen.• Blossfeld, H., von Maurice, J., & Schneider, T. (2011). 1 the national educational panel study: Need, main features, and research potential das Nationale Bildungspanel: Notwendigkeit, Grundzüge und Analysepotential. Zeitschrift Für Erziehungswissenschaft, 14(2), 5-17. doi:10.1007/s11618-011-0178-3• Kolen, M. J. & Brennan, R. L. (2010): Test Equating, Scaling, and Linking. Methods and Practices. Springer.• Kultusministerkonferenz (2003). Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.• OECD (2003). The PISA 2003 Assessment framework – Mathematics, reading, science and problem solving knowledge and skills. Paris: OECD.• Pant, H. A., Stanat, P., Pöhlmann, C. & Böhme, K (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem, In Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & Pöhlmann, C. (Hrsg.): IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I, Münster: Waxmann, S. 13-22.

KW - Empirische Bildungsforschung

M3 - Abstracts in Konferenzbänden

SP - 36

BT - GEBF-Abstractband "Die Perspektiven verbinden"

A2 - null, Deutsches Institut für Internationale Pädagogische Forschung (DIPF)

PB - Goethe-Universität Frankfurt am Main

CY - Frankfurt

T2 - 2. Tagung der Gesellschaft für Empirische Bildungsforschung - GEBF 2014

Y2 - 3 March 2014 through 5 March 2014

ER -