PISA, NEPS und BiSta – Sind die Kompetenzmessungen in Mathematik vergleichbar?

Publikation: Beiträge in SammelwerkenAbstracts in KonferenzbändenForschungbegutachtet

Authors

Die mathematische Kompetenz von Jugendlichen am Ende der Sekundarschulzeit wird in Deutschland derzeit in mehreren nationalen und internationalen Large Scale Assessments gemessen. Hierzu zählen etwa das Programme for International Student Assessment (PISA), der nationale Ländervergleich der Bildungsstandards (BiSta) und die Erhebungen im Nationalen Bildungspanel (NEPS). Inwieweit sind diese Kompetenzmessungen aber vergleichbar und erfassen das gleiche Konstrukt von mathematischer Kompetenz?
Obwohl alle drei Studien mathematische Kompetenz erfassen, lassen sich die Studienergebnisse nicht direkt in Beziehung setzen, da sie auf unterschiedlichen Rahmenkonzeptionen und Berichtsskalen beruhen.
So ist PISA eine internationale Schulleistungsstudie, die seit 2000 in einem dreijährlichen Rhythmus von der OECD durchgeführt wird und das Ziel verfolgt, mathematische Kompetenzen im Sinne von Mathematical Literacy zu messen (OECD 2003). Dabei geht es vor allem um die funktionale Anwendung von Mathematik in alltagsnahen Kontexten.
Der nationale Ländervergleich untersucht für die 9. Jahrgangsstufe die mathematischen Kompetenzen der Schülerinnen und Schüler mit dem Ziel, festzustellen, inwieweit in den Bundesländern die deutschlandweit verbindlichen Bildungsstandards erreicht werden (Pant, Stanat, Pöhlmann & Böhme, 2013). Die Definition der Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss weist zwar eine strukturelle Ähnlichkeit zur PISA-Rahmenkonzeption in Mathematik auf, ist aber inhaltlich stärker auf die unterrichtliche Situation in Deutschland angepasst (KMK, 2003).
Das nationale Bildungspanel (NEPS) hingegen ist eine Längsschnittsstudie, die die Bildungsprozesse und unter anderem die Kompetenzentwicklung in Mathematik über die Lebensspanne analysiert. Die Rahmenkonzeption für die Erhebungen in Mathematik orientiert sich an den Kompetenzstrukturmodellen aus PISA und den Bildungsstandards, überträgt diese Struktur jedoch auch auf andere Alterskohorten, um die gesamte Lebensspanne abzudecken (Blossfeld, von Maurice & Schneider, 2011).
Um die Äquivalenz der Kompetenzmessungen in Mathematik zwischen diesen drei LSA zu überprüfen, wurde eine Validierungsstudie durchgeführt. Diese Studie basiert auf einer Stichprobe von 80 Schulen mit N = 1965 Schülerinnen und Schülern aus der neunten Klassenstufe. Alle Schülerinnen und Schüler haben in einem Rotationsdesign die Mathematiktests vom Ländervergleich, aus NEPS und PISA an zwei Testtagen bearbeitet. Anhand dieses Single-Group-Designs lässt sich die Äquivalenz der drei Kompetenzmessungen analysieren, indem in drei Schritten die konzeptionelle, die dimensionale und die skalenbezogene Vergleichbarkeit der Studien geprüft wird (Kolen & Brennan, 2010).

Die Ergebnisse des konzeptionellen Vergleichs zeigen, dass die Kompetenzmessung in NEPS, trotz einiger Abweichungen im Framework und den Itemformaten, konzeptionell eine hohe Ähnlichkeit zu PISA und zum Ländervergleich aufweist. Aus Ergebnissen eines Expertenreviews ergibt sich weiterhin, dass sich alle Aufgaben des NEPS-Mathematiktests in die Testkonzeptionen vom Ländervergleichs und von PISA übertragen lassen.
Der zweite Schritt der Untersuchung beinhaltet die Analyse der dimensionalen Äquivalenz. Mit Hilfe von multidimensionalen IRT-Modellen wurden die latenten Korrelationen innerhalb der Subskalen der Testinstrumente und zwischen den Studien berechnet. Dabei sind die latenten Korrelationen mit r = .86 zwischen NEPS und PISA sowie r = .90 zwischen NEPS und Ländervergleich als hoch zu bezeichnen. Insgesamt kann die dimensionale Struktur als durchaus vergleichbar eingeschätzt werden.
In Bezug auf die Skalenäquivalenz soll abschließend diskutiert werden, in wie weit sich die Skalenmetriken und Kompetenzstufenmodelle vom Ländervergleich und von PISA auf den NEPS-Mathematiktest übertragen lassen.

• Blossfeld, H., von Maurice, J., & Schneider, T. (2011). 1 the national educational panel study: Need, main features, and research potential das Nationale Bildungspanel: Notwendigkeit, Grundzüge und Analysepotential. Zeitschrift Für Erziehungswissenschaft, 14(2), 5-17. doi:10.1007/s11618-011-0178-3
• Kolen, M. J. & Brennan, R. L. (2010): Test Equating, Scaling, and Linking. Methods and Practices. Springer.
• Kultusministerkonferenz (2003). Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. Beschluss vom 04.12.2003. Neuwied: Luchterhand.
• OECD (2003). The PISA 2003 Assessment framework – Mathematics, reading, science and problem solving knowledge and skills. Paris: OECD.
• Pant, H. A., Stanat, P., Pöhlmann, C. & Böhme, K (2013): Die Bildungsstandards im allgemeinbildenden Schulsystem, In Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & Pöhlmann, C. (Hrsg.): IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am Ende der Sekundarstufe I, Münster: Waxmann, S. 13-22.
OriginalspracheDeutsch
TitelGEBF-Abstractband "Die Perspektiven verbinden" : 2. Tagung der GEBF in Frankfurt am Main, 03. ‐ 05. März 2014
HerausgeberDeutsches Institut für Internationale Pädagogische Forschung (DIPF)
Anzahl der Seiten1
ErscheinungsortFrankfurt
VerlagGoethe-Universität Frankfurt am Main
Erscheinungsdatum03.2014
Seiten36
PublikationsstatusErschienen - 03.2014
Veranstaltung2. Tagung der Gesellschaft für Empirische Bildungsforschung - GEBF 2014: "Die Perspektiven verbinden" - Goethe Universität Frankfurt, Frankfurt, Deutschland
Dauer: 03.03.201405.03.2014
Konferenznummer: 2
https://www.gebf-ev.de/deutsch/tagungen/2014-2-tagung/

Links

Zuletzt angesehen

Publikationen

  1. Digitales Vergessen: Deletion Impossible?
  2. Landscape perspectives on agricultural intensification and biodiversity - Ecosystem service management
  3. Die Universität als Innovationsinkubator: Projekte mit der Kreativitätswirtschaft an der Leuphana Universität Lüneburg
  4. Internationale Dimensionen des europäischen Verwaltungsrechts
  5. Von der Sorge um sich selbst
  6. GET.ON Mood Enhancer
  7. Europarecht (EUV/AEUV/GRCh)
  8. Bier für den Regenwald
  9. NachhaltigZeit
  10. The environmental and economic effects of European emissions trading
  11. Nutrition-induced changes in the microbiota can cause dysbiosis and disease development
  12. Personelle Vielfalt und Diversity Management: Kritische Erfolgsfaktoren der Post Merger Integration?
  13. (De-)Thematisierungsweisen von Bildungsausschlüssen an der Grenze zur EU
  14. Die Manns
  15. Integrierte Versorgung - Wettbewerbspotenzial in der Gesundheitsversorgung heben!
  16. Abschreiben von Übungsaufgaben in traditionellen und innovativen Mathematikvorlesungen
  17. Nachhaltigkeit - Bislang kein Wettbewerbsfaktor?
  18. Stanley J. Grenz, Reason for Hope. The Systematic Theology of Wolfhart Pannenberg. Grand Rapids u.a. 2005
  19. German Life-Writing in the Twentieth Century
  20. Ecological-economic models for sustainable grazing in semi-arid rangelands
  21. Kreativität und Stadtkultur
  22. "Versuch macht klug", Teil 4
  23. Informelles Lernen und Popmusik
  24. Rezension zu: Understanding the city, contemporary and future perspectives, John Eade and Christopher Mele (eds.), Oxford, UK Blackwell, 2002, 384 pp.
  25. Magnesium (Mg) corrosion
  26. Artikel 30 AEUV [Verbot von Zöllen]
  27. Nachhaltige Ernährung im Wertediskurs
  28. Taxing the Rich: A History of Fiscal Fairnes in the United States and Europe by Kenneth Scheve and David Stasavage. Princeton: Princeton University Press, 2016