PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar?

Publikation: Beiträge in SammelwerkenAbstracts in KonferenzbändenForschungbegutachtet

Authors

Die mathematische Kompetenz von Jugendlichen am Ende der Sekundarschulzeit wird in Deutschland derzeit in mehreren nationalen und internationalen Large Scale Assessments gemessen. Hierzu zählen etwa das Programme for International Student Assessment (PISA), der nationale Ländervergleich der Bildungsstandards (BiSta) und die Erhebungen im Nationalen Bildungspanel (NEPS). Inwieweit sind diese Kompetenzmessungen aber vergleichbar und erfassen das gleiche Konstrukt von mathematischer Kompetenz?
Obwohl alle drei Studien mathematische Kompetenz erfassen, lassen sich die Studienergebnisse nicht direkt in Beziehung setzen, da sie auf unterschiedlichen Rahmenkonzeptionen und Berichtsskalen beruhen.
So ist PISA eine internationale Schulleistungsstudie, die seit 2000 in einem dreijährlichen Rhythmus von der OECD durchgeführt wird und das Ziel verfolgt, mathematische Kompetenzen im Sinne von Mathematical Literacy zu messen (OECD 2003). Dabei geht es vor allem um die funktionale Anwendung von Mathematik in alltagsnahen Kontexten.
Der nationale Ländervergleich untersucht für die 9. Jahrgangsstufe die mathematischen Kompetenzen der Schülerinnen und Schüler mit dem Ziel, festzustellen, inwieweit in den Bundesländern die deutschlandweit verbindlichen Bildungsstandards erreicht werden (Pant, Stanat, Pöhlmann & Böhme, 2013). Die Definition der Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss weist zwar eine strukturelle Ähnlichkeit zur PISA-Rahmenkonzeption in Mathematik auf, ist aber inhaltlich stärker auf die unterrichtliche Situation in Deutschland angepasst (KMK, 2003).
Das nationale Bildungspanel (NEPS) hingegen ist eine Längsschnittsstudie, die die Bildungsprozesse und unter anderem die Kompetenzentwicklung in Mathematik über die Lebensspanne analysiert. Die Rahmenkonzeption für die Erhebungen in Mathematik orientiert sich an den Kompetenzstrukturmodellen aus PISA und den Bildungsstandards, überträgt diese Struktur jedoch auch auf andere Alterskohorten, um die gesamte Lebensspanne abzudecken (Blossfeld, von Maurice & Schneider, 2011).
Um die Äquivalenz der Kompetenzmessungen in Mathematik zwischen diesen drei LSA zu überprüfen, wurde eine Validierungsstudie durchgeführt. Diese Studie basiert auf einer Stichprobe von 80 Schulen mit N = 1965 Schülerinnen und Schülern aus der neunten Klassenstufe. Alle Schülerinnen und Schüler haben in einem Rotationsdesign die Mathematiktests vom Ländervergleich, aus NEPS und PISA an zwei Testtagen bearbeitet. Anhand dieses Single-Group-Designs lässt sich die Äquivalenz der drei Kompetenzmessungen analysieren, indem in drei Schritten die konzeptionelle, die dimensionale und die skalenbezogene Vergleichbarkeit der Studien geprüft wird (Kolen & Brennan, 2010).

Die Ergebnisse des konzeptionellen Vergleichs zeigen, dass die Kompetenzmessung in NEPS, trotz einiger Abweichungen im Framework und den Itemformaten, konzeptionell eine hohe Ähnlichkeit zu PISA und zum Ländervergleich aufweist. Aus Ergebnissen eines Expertenreviews ergibt sich weiterhin, dass sich alle Aufgaben des NEPS-Mathematiktests in die Testkonzeptionen vom Ländervergleichs und von PISA übertragen lassen.
Der zweite Schritt der Untersuchung beinhaltet die Analyse der dimensionalen Äquivalenz. Mit Hilfe von multidimensionalen IRT-Modellen wurden die latenten Korrelationen innerhalb der Subskalen der Testinstrumente und zwischen den Studien berechnet. Dabei sind die latenten Korrelationen mit r = .86 zwischen NEPS und PISA sowie r = .90 zwischen NEPS und Ländervergleich als hoch zu bezeichnen. Insgesamt kann die dimensionale Struktur als durchaus vergleichbar eingeschätzt werden.
In Bezug auf die Skalenäquivalenz soll abschließend diskutiert werden, in wie weit sich die Skalenmetriken und Kompetenzstufenmodelle vom Ländervergleich und von PISA auf den NEPS-Mathematiktest übertragen lassen.

• Blossfeld, H., von Maurice, J., & Schneider, T. (2011). 1 the national educational panel study: Need, main features, and research potential das Nationale Bildungspanel: Notwendigkeit, Grundzüge und Analysepotential. Zeitschrift Für Erziehungswissenschaft, 14(2), 5-17. doi:10.1007/s11618-011-0178-3
• Kolen, M. J. & Brennan, R. L. (2010): Test Equating, Scaling, and Linking. Methods and Practices. Springer.
• Kultusministerkonferenz (2003). Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.
• OECD (2003). The PISA 2003 Assessment framework – Mathematics, reading, science and problem solving knowledge and skills. Paris: OECD.
• Pant, H. A., Stanat, P., Pöhlmann, C. & Böhme, K (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem, In Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & Pöhlmann, C. (Hrsg.): IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I, Münster: Waxmann, S. 13-22.
OriginalspracheDeutsch
TitelGEBF-Abstractband "Die Perspektiven verbinden" : 2. Tagung der GEBF in Frankfurt am Main, 03. ‐ 05. März 2014
HerausgeberDeutsches Institut für Internationale Pädagogische Forschung (DIPF)
Anzahl der Seiten1
ErscheinungsortFrankfurt
VerlagGoethe-Universität Frankfurt am Main
Erscheinungsdatum03.2014
Seiten36
PublikationsstatusErschienen - 03.2014
Veranstaltung2. Tagung der Gesellschaft für Empirische Bildungsforschung - GEBF 2014: "Die Perspektiven verbinden" - Goethe Universität Frankfurt, Frankfurt, Deutschland
Dauer: 03.03.201405.03.2014
Konferenznummer: 2
https://www.gebf-ev.de/deutsch/tagungen/2014-2-tagung/

Links

Zuletzt angesehen

Publikationen

  1. Digitales Vergessen: Deletion Impossible?
  2. Governing global telecoupling toward environmental sustainability
  3. Smartphones im Unterricht – Wollen das Schülerinnen und Schüler überhaupt?!
  4. Landscape perspectives on agricultural intensification and biodiversity - Ecosystem service management
  5. Bildnarrationen als Fundament zur Vermittlung von sprachlich-literarischen Kompetenzen in mehrsprachigen Klassen
  6. AEUV Art. 262 Rechtsstreitigkeiten im Bereich des geistigen Eigentums
  7. Nachhaltigkeitsberichterstattung der DAX-30 Unternehmen im Internet
  8. Selbständigkeit gefragt
  9. Baseflow recession analysis for flood-prone black sea watersheds in Turkey
  10. Lewis A. Coser. Refugee scholars in America: Their impact and their experiences. New Haven and London: Yale University Press, 1984. xviii + 351 pp. (cloth)
  11. Aufschwung und Höhepunkte der Rockkultur
  12. Media Review: Contemporary Art as Collective Organizing (and its Contradictions)
  13. Sustainability Management in Business Enterprises
  14. Lautheitsurteil und akustischer Kontext
  15. Zwischen Ehrenamt und Berufspolitik
  16. Education for Sustainable Development – European Approaches
  17. Die Grundschul-Bibel
  18. Hochschulen im Wandel
  19. Miriam Köster, Integration und Kohärenz im Meeresumweltschutz- und Fischereirecht der EU (2019)
  20. Lehrkräfte als Experten für die eigene Lern- und Emotionsarbeit
  21. Demokratie und Postdemokratie
  22. Strukturelle Bildanalyse und Verarbeitungszeiten
  23. Canada – Country of Superlatives
  24. Manchester - Eine Stadt erfindet sich neu
  25. Führung von Rückkehrern aus dem Ausland zur Unterstützung des Wissenstransfers
  26. Biosphere reserves' management effectiveness-A systematic literature review and a research agenda
  27. Exports, imports and profitability: First evidence for manufacturing enterprises
  28. Selbstbezug in videobasierten Unterrichtsreflexionen von Lehramtsstudierenden im Bachelor
  29. Gegen\Dokumentation