Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivität bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkräfte

Research output: Journal contributionsJournal articlesResearchpeer-review

Standard

Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivität bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkräfte. / Spoden, Christian; Fleischer, Jens; Leutner, Detlev.
In: Journal fur Mathematik-Didaktik, Vol. 35, No. 1, 02.2014, p. 79-99.

Research output: Journal contributionsJournal articlesResearchpeer-review

Harvard

APA

Vancouver

Bibtex

@article{92b6344e55534e28b6f96a5236a5dde2,
title = "Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivit{\"a}t bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkr{\"a}fte",
abstract = "Bei landesweiten Vergleichsarbeiten wird die Auswertung der Test-Items von Lehrkr{\"a}ften auf Basis vorgegebener Manuale eigenst{\"a}ndig durchgef{\"u}hrt. Inder vorliegenden Studie wird die Frage untersucht, ob mangelnde Auswertungsobjektivit{\"a}t (hier: mangelnde Manual-Treue) bei der Kodierung der Items durch die Lehrkr{\"a}fte mit abweichenden Antwortmustern von Sch{\"u}ler-L{\"o}sungen in Bezug auf das bei Vergleichsarbeiten h{\"a}ufig verwendete Testmodell von Rasch (1980) einhergeht. Die Testhefte von Schulklassen mit niedriger und mit durchschnittlicher Modellpassung bei den nordrhein-westf{\"a}lischen Vergleichsarbeiten in der achten Jahrgangsstufe im Fach Mathematik wurden von externen Beurteilern erneut ausgewertet und die Modellpassung und korrespondierende Sch{\"a}tzungen der Sch{\"u}lerkompetenzen dieser neuen Beurteilungen bestimmt. Die Ergebnisse verdeutlichen, dass (1) eine niedrige durchschnittliche Modellpassung dieser Schulklassen auf mangelnde Manual-Treue der Lehrkr{\"a}fte zur{\"u}ckzuf{\"u}hren ist und dass (2) die Abweichungen im Vergleich zur manual-treuen Auswertung mit h{\"o}heren mittleren Sch{\"u}lerkompetenzen einhergehen. Implikationen dieses Beurteilungseffektes f{\"u}r die Arbeit mit Vergleichsarbeiten in der Mathematik werden abschlie{\ss}end diskutiert.",
keywords = "Inter-rater reliability, Large-scale assessment of competencies, Person fit, Rasch model, Psychologie",
author = "Christian Spoden and Jens Fleischer and Detlev Leutner",
year = "2014",
month = feb,
doi = "10.1007/s13138-013-0056-z",
language = "Deutsch",
volume = "35",
pages = "79--99",
journal = "Journal fur Mathematik-Didaktik",
issn = "0173-5322",
publisher = "Springer",
number = "1",

}

RIS

TY - JOUR

T1 - Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivität bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkräfte

AU - Spoden, Christian

AU - Fleischer, Jens

AU - Leutner, Detlev

PY - 2014/2

Y1 - 2014/2

N2 - Bei landesweiten Vergleichsarbeiten wird die Auswertung der Test-Items von Lehrkräften auf Basis vorgegebener Manuale eigenständig durchgeführt. Inder vorliegenden Studie wird die Frage untersucht, ob mangelnde Auswertungsobjektivität (hier: mangelnde Manual-Treue) bei der Kodierung der Items durch die Lehrkräfte mit abweichenden Antwortmustern von Schüler-Lösungen in Bezug auf das bei Vergleichsarbeiten häufig verwendete Testmodell von Rasch (1980) einhergeht. Die Testhefte von Schulklassen mit niedriger und mit durchschnittlicher Modellpassung bei den nordrhein-westfälischen Vergleichsarbeiten in der achten Jahrgangsstufe im Fach Mathematik wurden von externen Beurteilern erneut ausgewertet und die Modellpassung und korrespondierende Schätzungen der Schülerkompetenzen dieser neuen Beurteilungen bestimmt. Die Ergebnisse verdeutlichen, dass (1) eine niedrige durchschnittliche Modellpassung dieser Schulklassen auf mangelnde Manual-Treue der Lehrkräfte zurückzuführen ist und dass (2) die Abweichungen im Vergleich zur manual-treuen Auswertung mit höheren mittleren Schülerkompetenzen einhergehen. Implikationen dieses Beurteilungseffektes für die Arbeit mit Vergleichsarbeiten in der Mathematik werden abschließend diskutiert.

AB - Bei landesweiten Vergleichsarbeiten wird die Auswertung der Test-Items von Lehrkräften auf Basis vorgegebener Manuale eigenständig durchgeführt. Inder vorliegenden Studie wird die Frage untersucht, ob mangelnde Auswertungsobjektivität (hier: mangelnde Manual-Treue) bei der Kodierung der Items durch die Lehrkräfte mit abweichenden Antwortmustern von Schüler-Lösungen in Bezug auf das bei Vergleichsarbeiten häufig verwendete Testmodell von Rasch (1980) einhergeht. Die Testhefte von Schulklassen mit niedriger und mit durchschnittlicher Modellpassung bei den nordrhein-westfälischen Vergleichsarbeiten in der achten Jahrgangsstufe im Fach Mathematik wurden von externen Beurteilern erneut ausgewertet und die Modellpassung und korrespondierende Schätzungen der Schülerkompetenzen dieser neuen Beurteilungen bestimmt. Die Ergebnisse verdeutlichen, dass (1) eine niedrige durchschnittliche Modellpassung dieser Schulklassen auf mangelnde Manual-Treue der Lehrkräfte zurückzuführen ist und dass (2) die Abweichungen im Vergleich zur manual-treuen Auswertung mit höheren mittleren Schülerkompetenzen einhergehen. Implikationen dieses Beurteilungseffektes für die Arbeit mit Vergleichsarbeiten in der Mathematik werden abschließend diskutiert.

KW - Inter-rater reliability

KW - Large-scale assessment of competencies

KW - Person fit

KW - Rasch model

KW - Psychologie

UR - http://www.scopus.com/inward/record.url?scp=84897034342&partnerID=8YFLogxK

U2 - 10.1007/s13138-013-0056-z

DO - 10.1007/s13138-013-0056-z

M3 - Zeitschriftenaufsätze

AN - SCOPUS:84897034342

VL - 35

SP - 79

EP - 99

JO - Journal fur Mathematik-Didaktik

JF - Journal fur Mathematik-Didaktik

SN - 0173-5322

IS - 1

ER -