PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar?

Research output: Contributions to collected editions/worksPublished abstract in conference proceedingsResearchpeer-review

Standard

PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar? / van den Ham, Ann-Katrin; Ehmke, Timo; Sälzer, Christine et al.
GEBF-Abstractband "Die Perspektiven verbinden": 2. Tagung der GEBF in Frankfurt am Main, 03. ‐ 05. März 2014. ed. / Deutsches Institut für Internationale Pädagogische Forschung (DIPF). Frankfurt: Goethe-Universität Frankfurt am Main, 2014. p. 36.

Research output: Contributions to collected editions/worksPublished abstract in conference proceedingsResearchpeer-review

Harvard

van den Ham, A-K, Ehmke, T, Sälzer, C & Schroeders, U 2014, PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar? in DIFIPF (ed.), GEBF-Abstractband "Die Perspektiven verbinden": 2. Tagung der GEBF in Frankfurt am Main, 03. ‐ 05. März 2014. Goethe-Universität Frankfurt am Main, Frankfurt, pp. 36, 2. Tagung der Gesellschaft für Empirische Bildungsforschung - GEBF 2014, Frankfurt, Germany, 03.03.14. <http://nbn-resolving.de/urn:nbn:de:hebis:30:3-391640>

APA

van den Ham, A.-K., Ehmke, T., Sälzer, C., & Schroeders, U. (2014). PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar? In D. I. F. I. P. F. (Ed.), GEBF-Abstractband "Die Perspektiven verbinden": 2. Tagung der GEBF in Frankfurt am Main, 03. ‐ 05. März 2014 (pp. 36). Goethe-Universität Frankfurt am Main. http://nbn-resolving.de/urn:nbn:de:hebis:30:3-391640

Vancouver

van den Ham AK, Ehmke T, Sälzer C, Schroeders U. PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar? In DIFIPF, editor, GEBF-Abstractband "Die Perspektiven verbinden": 2. Tagung der GEBF in Frankfurt am Main, 03. ‐ 05. März 2014. Frankfurt: Goethe-Universität Frankfurt am Main. 2014. p. 36

Bibtex

@inbook{dc435b4aed6a4b61ac539dda7a9b4577,
title = "PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar?",
abstract = "Die mathematische Kompetenz von Jugendlichen am Ende der Sekundarschulzeit wird in Deutschland derzeit in mehreren nationalen und internationalen Large Scale Assessments gemessen. Hierzu z{\"a}hlen etwa das Programme for International Student Assessment (PISA), der nationale L{\"a}ndervergleich der Bildungsstandards (BiSta) und die Erhebungen im Nationalen Bildungspanel (NEPS). Inwieweit sind diese Kompetenzmessungen aber vergleichbar und erfassen das gleiche Konstrukt von mathematischer Kompetenz? Obwohl alle drei Studien mathematische Kompetenz erfassen, lassen sich die Studienergebnisse nicht direkt in Beziehung setzen, da sie auf unterschiedlichen Rahmenkonzeptionen und Berichtsskalen beruhen.So ist PISA eine internationale Schulleistungsstudie, die seit 2000 in einem dreij{\"a}hrlichen Rhythmus von der OECD durchgef{\"u}hrt wird und das Ziel verfolgt, mathematische Kompetenzen im Sinne von Mathematical Literacy zu messen (OECD 2003). Dabei geht es vor allem um die funktionale Anwendung von Mathematik in alltagsnahen Kontexten.Der nationale L{\"a}ndervergleich untersucht f{\"u}r die 9. Jahrgangsstufe die mathematischen Kompetenzen der Sch{\"u}lerinnen und Sch{\"u}ler mit dem Ziel, festzustellen, inwieweit in den Bundesl{\"a}ndern die deutschlandweit verbindlichen Bildungsstandards erreicht werden (Pant, Stanat, P{\"o}hlmann & B{\"o}hme, 2013). Die Definition der Bildungsstandards im Fach Mathematik f{\"u}r den Mittleren Schulabschluss weist zwar eine strukturelle {\"A}hnlichkeit zur PISA-Rahmenkonzeption in Mathematik auf, ist aber inhaltlich st{\"a}rker auf die unterrichtliche Situation in Deutschland angepasst (KMK, 2003). Das nationale Bildungspanel (NEPS) hingegen ist eine L{\"a}ngsschnittsstudie, die die Bildungsprozesse und unter anderem die Kompetenzentwicklung in Mathematik {\"u}ber die Lebensspanne analysiert. Die Rahmenkonzeption f{\"u}r die Erhebungen in Mathematik orientiert sich an den Kompetenzstrukturmodellen aus PISA und den Bildungsstandards, {\"u}bertr{\"a}gt diese Struktur jedoch auch auf andere Alterskohorten, um die gesamte Lebensspanne abzudecken (Blossfeld, von Maurice & Schneider, 2011).Um die {\"A}quivalenz der Kompetenzmessungen in Mathematik zwischen diesen drei LSA zu {\"u}berpr{\"u}fen, wurde eine Validierungsstudie durchgef{\"u}hrt. Diese Studie basiert auf einer Stichprobe von 80 Schulen mit N = 1965 Sch{\"u}lerinnen und Sch{\"u}lern aus der neunten Klassenstufe. Alle Sch{\"u}lerinnen und Sch{\"u}ler haben in einem Rotationsdesign die Mathematiktests vom L{\"a}ndervergleich, aus NEPS und PISA an zwei Testtagen bearbeitet. Anhand dieses Single-Group-Designs l{\"a}sst sich die {\"A}quivalenz der drei Kompetenzmessungen analysieren, indem in drei Schritten die konzeptionelle, die dimensionale und die skalenbezogene Vergleichbarkeit der Studien gepr{\"u}ft wird (Kolen & Brennan, 2010). Die Ergebnisse des konzeptionellen Vergleichs zeigen, dass die Kompetenzmessung in NEPS, trotz einiger Abweichungen im Framework und den Itemformaten, konzeptionell eine hohe {\"A}hnlichkeit zu PISA und zum L{\"a}ndervergleich aufweist. Aus Ergebnissen eines Expertenreviews ergibt sich weiterhin, dass sich alle Aufgaben des NEPS-Mathematiktests in die Testkonzeptionen vom L{\"a}ndervergleichs und von PISA {\"u}bertragen lassen. Der zweite Schritt der Untersuchung beinhaltet die Analyse der dimensionalen {\"A}quivalenz. Mit Hilfe von multidimensionalen IRT-Modellen wurden die latenten Korrelationen innerhalb der Subskalen der Testinstrumente und zwischen den Studien berechnet. Dabei sind die latenten Korrelationen mit r = .86 zwischen NEPS und PISA sowie r = .90 zwischen NEPS und L{\"a}ndervergleich als hoch zu bezeichnen. Insgesamt kann die dimensionale Struktur als durchaus vergleichbar eingesch{\"a}tzt werden.In Bezug auf die Skalen{\"a}quivalenz soll abschlie{\ss}end diskutiert werden, in wie weit sich die Skalenmetriken und Kompetenzstufenmodelle vom L{\"a}ndervergleich und von PISA auf den NEPS-Mathematiktest {\"u}bertragen lassen.• Blossfeld, H., von Maurice, J., & Schneider, T. (2011). 1 the national educational panel study: Need, main features, and research potential das Nationale Bildungspanel: Notwendigkeit, Grundz{\"u}ge und Analysepotential. Zeitschrift F{\"u}r Erziehungswissenschaft, 14(2), 5-17. doi:10.1007/s11618-011-0178-3• Kolen, M. J. & Brennan, R. L. (2010): Test Equating, Scaling, and Linking. Methods and Practices. Springer.• Kultusministerkonferenz (2003). Bildungsstandards im Fach Mathematik f{\"u}r den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.• OECD (2003). The PISA 2003 Assessment framework – Mathematics, reading, science and problem solving knowledge and skills. Paris: OECD.• Pant, H. A., Stanat, P., P{\"o}hlmann, C. & B{\"o}hme, K (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem, In Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & P{\"o}hlmann, C. (Hrsg.): IQB-L{\"a}ndervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I, M{\"u}nster: Waxmann, S. 13-22.",
keywords = "Empirische Bildungsforschung",
author = "{van den Ham}, Ann-Katrin and Timo Ehmke and Christine S{\"a}lzer and Ulrich Schroeders",
year = "2014",
month = mar,
language = "Deutsch",
pages = "36",
editor = "{Deutsches Institut f{\"u}r Internationale P{\"a}dagogische Forschung (DIPF)}",
booktitle = "GEBF-Abstractband {"}Die Perspektiven verbinden{"}",
publisher = "Goethe-Universit{\"a}t Frankfurt am Main",
address = "Deutschland",
note = "2. Tagung der Gesellschaft f{\"u}r Empirische Bildungsforschung - GEBF 2014 : {"}Die Perspektiven verbinden{"}, GEBF 2014 ; Conference date: 03-03-2014 Through 05-03-2014",
url = "https://www.gebf-ev.de/deutsch/tagungen/2014-2-tagung/",

}

RIS

TY - CHAP

T1 - PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar?

AU - van den Ham, Ann-Katrin

AU - Ehmke, Timo

AU - Sälzer, Christine

AU - Schroeders, Ulrich

N1 - Conference code: 2

PY - 2014/3

Y1 - 2014/3

N2 - Die mathematische Kompetenz von Jugendlichen am Ende der Sekundarschulzeit wird in Deutschland derzeit in mehreren nationalen und internationalen Large Scale Assessments gemessen. Hierzu zählen etwa das Programme for International Student Assessment (PISA), der nationale Ländervergleich der Bildungsstandards (BiSta) und die Erhebungen im Nationalen Bildungspanel (NEPS). Inwieweit sind diese Kompetenzmessungen aber vergleichbar und erfassen das gleiche Konstrukt von mathematischer Kompetenz? Obwohl alle drei Studien mathematische Kompetenz erfassen, lassen sich die Studienergebnisse nicht direkt in Beziehung setzen, da sie auf unterschiedlichen Rahmenkonzeptionen und Berichtsskalen beruhen.So ist PISA eine internationale Schulleistungsstudie, die seit 2000 in einem dreijährlichen Rhythmus von der OECD durchgeführt wird und das Ziel verfolgt, mathematische Kompetenzen im Sinne von Mathematical Literacy zu messen (OECD 2003). Dabei geht es vor allem um die funktionale Anwendung von Mathematik in alltagsnahen Kontexten.Der nationale Ländervergleich untersucht für die 9. Jahrgangsstufe die mathematischen Kompetenzen der Schülerinnen und Schüler mit dem Ziel, festzustellen, inwieweit in den Bundesländern die deutschlandweit verbindlichen Bildungsstandards erreicht werden (Pant, Stanat, Pöhlmann & Böhme, 2013). Die Definition der Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss weist zwar eine strukturelle Ähnlichkeit zur PISA-Rahmenkonzeption in Mathematik auf, ist aber inhaltlich stärker auf die unterrichtliche Situation in Deutschland angepasst (KMK, 2003). Das nationale Bildungspanel (NEPS) hingegen ist eine Längsschnittsstudie, die die Bildungsprozesse und unter anderem die Kompetenzentwicklung in Mathematik über die Lebensspanne analysiert. Die Rahmenkonzeption für die Erhebungen in Mathematik orientiert sich an den Kompetenzstrukturmodellen aus PISA und den Bildungsstandards, überträgt diese Struktur jedoch auch auf andere Alterskohorten, um die gesamte Lebensspanne abzudecken (Blossfeld, von Maurice & Schneider, 2011).Um die Äquivalenz der Kompetenzmessungen in Mathematik zwischen diesen drei LSA zu überprüfen, wurde eine Validierungsstudie durchgeführt. Diese Studie basiert auf einer Stichprobe von 80 Schulen mit N = 1965 Schülerinnen und Schülern aus der neunten Klassenstufe. Alle Schülerinnen und Schüler haben in einem Rotationsdesign die Mathematiktests vom Ländervergleich, aus NEPS und PISA an zwei Testtagen bearbeitet. Anhand dieses Single-Group-Designs lässt sich die Äquivalenz der drei Kompetenzmessungen analysieren, indem in drei Schritten die konzeptionelle, die dimensionale und die skalenbezogene Vergleichbarkeit der Studien geprüft wird (Kolen & Brennan, 2010). Die Ergebnisse des konzeptionellen Vergleichs zeigen, dass die Kompetenzmessung in NEPS, trotz einiger Abweichungen im Framework und den Itemformaten, konzeptionell eine hohe Ähnlichkeit zu PISA und zum Ländervergleich aufweist. Aus Ergebnissen eines Expertenreviews ergibt sich weiterhin, dass sich alle Aufgaben des NEPS-Mathematiktests in die Testkonzeptionen vom Ländervergleichs und von PISA übertragen lassen. Der zweite Schritt der Untersuchung beinhaltet die Analyse der dimensionalen Äquivalenz. Mit Hilfe von multidimensionalen IRT-Modellen wurden die latenten Korrelationen innerhalb der Subskalen der Testinstrumente und zwischen den Studien berechnet. Dabei sind die latenten Korrelationen mit r = .86 zwischen NEPS und PISA sowie r = .90 zwischen NEPS und Ländervergleich als hoch zu bezeichnen. Insgesamt kann die dimensionale Struktur als durchaus vergleichbar eingeschätzt werden.In Bezug auf die Skalenäquivalenz soll abschließend diskutiert werden, in wie weit sich die Skalenmetriken und Kompetenzstufenmodelle vom Ländervergleich und von PISA auf den NEPS-Mathematiktest übertragen lassen.• Blossfeld, H., von Maurice, J., & Schneider, T. (2011). 1 the national educational panel study: Need, main features, and research potential das Nationale Bildungspanel: Notwendigkeit, Grundzüge und Analysepotential. Zeitschrift Für Erziehungswissenschaft, 14(2), 5-17. doi:10.1007/s11618-011-0178-3• Kolen, M. J. & Brennan, R. L. (2010): Test Equating, Scaling, and Linking. Methods and Practices. Springer.• Kultusministerkonferenz (2003). Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.• OECD (2003). The PISA 2003 Assessment framework – Mathematics, reading, science and problem solving knowledge and skills. Paris: OECD.• Pant, H. A., Stanat, P., Pöhlmann, C. & Böhme, K (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem, In Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & Pöhlmann, C. (Hrsg.): IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I, Münster: Waxmann, S. 13-22.

AB - Die mathematische Kompetenz von Jugendlichen am Ende der Sekundarschulzeit wird in Deutschland derzeit in mehreren nationalen und internationalen Large Scale Assessments gemessen. Hierzu zählen etwa das Programme for International Student Assessment (PISA), der nationale Ländervergleich der Bildungsstandards (BiSta) und die Erhebungen im Nationalen Bildungspanel (NEPS). Inwieweit sind diese Kompetenzmessungen aber vergleichbar und erfassen das gleiche Konstrukt von mathematischer Kompetenz? Obwohl alle drei Studien mathematische Kompetenz erfassen, lassen sich die Studienergebnisse nicht direkt in Beziehung setzen, da sie auf unterschiedlichen Rahmenkonzeptionen und Berichtsskalen beruhen.So ist PISA eine internationale Schulleistungsstudie, die seit 2000 in einem dreijährlichen Rhythmus von der OECD durchgeführt wird und das Ziel verfolgt, mathematische Kompetenzen im Sinne von Mathematical Literacy zu messen (OECD 2003). Dabei geht es vor allem um die funktionale Anwendung von Mathematik in alltagsnahen Kontexten.Der nationale Ländervergleich untersucht für die 9. Jahrgangsstufe die mathematischen Kompetenzen der Schülerinnen und Schüler mit dem Ziel, festzustellen, inwieweit in den Bundesländern die deutschlandweit verbindlichen Bildungsstandards erreicht werden (Pant, Stanat, Pöhlmann & Böhme, 2013). Die Definition der Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss weist zwar eine strukturelle Ähnlichkeit zur PISA-Rahmenkonzeption in Mathematik auf, ist aber inhaltlich stärker auf die unterrichtliche Situation in Deutschland angepasst (KMK, 2003). Das nationale Bildungspanel (NEPS) hingegen ist eine Längsschnittsstudie, die die Bildungsprozesse und unter anderem die Kompetenzentwicklung in Mathematik über die Lebensspanne analysiert. Die Rahmenkonzeption für die Erhebungen in Mathematik orientiert sich an den Kompetenzstrukturmodellen aus PISA und den Bildungsstandards, überträgt diese Struktur jedoch auch auf andere Alterskohorten, um die gesamte Lebensspanne abzudecken (Blossfeld, von Maurice & Schneider, 2011).Um die Äquivalenz der Kompetenzmessungen in Mathematik zwischen diesen drei LSA zu überprüfen, wurde eine Validierungsstudie durchgeführt. Diese Studie basiert auf einer Stichprobe von 80 Schulen mit N = 1965 Schülerinnen und Schülern aus der neunten Klassenstufe. Alle Schülerinnen und Schüler haben in einem Rotationsdesign die Mathematiktests vom Ländervergleich, aus NEPS und PISA an zwei Testtagen bearbeitet. Anhand dieses Single-Group-Designs lässt sich die Äquivalenz der drei Kompetenzmessungen analysieren, indem in drei Schritten die konzeptionelle, die dimensionale und die skalenbezogene Vergleichbarkeit der Studien geprüft wird (Kolen & Brennan, 2010). Die Ergebnisse des konzeptionellen Vergleichs zeigen, dass die Kompetenzmessung in NEPS, trotz einiger Abweichungen im Framework und den Itemformaten, konzeptionell eine hohe Ähnlichkeit zu PISA und zum Ländervergleich aufweist. Aus Ergebnissen eines Expertenreviews ergibt sich weiterhin, dass sich alle Aufgaben des NEPS-Mathematiktests in die Testkonzeptionen vom Ländervergleichs und von PISA übertragen lassen. Der zweite Schritt der Untersuchung beinhaltet die Analyse der dimensionalen Äquivalenz. Mit Hilfe von multidimensionalen IRT-Modellen wurden die latenten Korrelationen innerhalb der Subskalen der Testinstrumente und zwischen den Studien berechnet. Dabei sind die latenten Korrelationen mit r = .86 zwischen NEPS und PISA sowie r = .90 zwischen NEPS und Ländervergleich als hoch zu bezeichnen. Insgesamt kann die dimensionale Struktur als durchaus vergleichbar eingeschätzt werden.In Bezug auf die Skalenäquivalenz soll abschließend diskutiert werden, in wie weit sich die Skalenmetriken und Kompetenzstufenmodelle vom Ländervergleich und von PISA auf den NEPS-Mathematiktest übertragen lassen.• Blossfeld, H., von Maurice, J., & Schneider, T. (2011). 1 the national educational panel study: Need, main features, and research potential das Nationale Bildungspanel: Notwendigkeit, Grundzüge und Analysepotential. Zeitschrift Für Erziehungswissenschaft, 14(2), 5-17. doi:10.1007/s11618-011-0178-3• Kolen, M. J. & Brennan, R. L. (2010): Test Equating, Scaling, and Linking. Methods and Practices. Springer.• Kultusministerkonferenz (2003). Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.• OECD (2003). The PISA 2003 Assessment framework – Mathematics, reading, science and problem solving knowledge and skills. Paris: OECD.• Pant, H. A., Stanat, P., Pöhlmann, C. & Böhme, K (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem, In Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & Pöhlmann, C. (Hrsg.): IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I, Münster: Waxmann, S. 13-22.

KW - Empirische Bildungsforschung

M3 - Abstracts in Konferenzbänden

SP - 36

BT - GEBF-Abstractband "Die Perspektiven verbinden"

A2 - null, Deutsches Institut für Internationale Pädagogische Forschung (DIPF)

PB - Goethe-Universität Frankfurt am Main

CY - Frankfurt

T2 - 2. Tagung der Gesellschaft für Empirische Bildungsforschung - GEBF 2014

Y2 - 3 March 2014 through 5 March 2014

ER -