How to get really smart: Modeling retest and training effects in ability testing using computer-generated figural matrix items

Publikation: Beiträge in ZeitschriftenZeitschriftenaufsätzeForschungbegutachtet

Authors

The interpretation of retest scores is problematic because they are potentially affected by measurement and predictive bias, which impact construct validity, and because their size differs as a function of various factors. This paper investigates the construct stability of scores on a figural matrices test and models retest effects at the level of the individual test taker as a function of covariates (simple retest vs. training, use of identical vs. parallel retest forms, and general mental ability). A total of N=189 subjects took two tests of matrix items that were automatically generated according to a strict construction rationale. Between test administrations, participants in the intervention groups received training, while controls did not. The Rasch model fit the data at both time points, but there was a lack of item difficulty parameter invariance across time. Training increased test performance beyond simple retesting, but there was no large difference between the identical and parallel retest forms at the individual level. Individuals varied greatly in how they profited from retest experience, training, and the use of identical vs. parallel retest forms. The results suggest that even with carefully designed tasks, it is problematic to directly compare scores from initial tests and retests. Test administrators should emphasize learning potential instead of state level assessment, and inter-individual differences with regard to test experience should be taken into account when interpreting test results.
OriginalspracheEnglisch
ZeitschriftIntelligence
Jahrgang39
Ausgabenummer4
Seiten (von - bis)233-243
Anzahl der Seiten11
ISSN0160-2896
DOIs
PublikationsstatusErschienen - 07.2011

DOI

Zuletzt angesehen

Aktivitäten

  1. Entwicklungsworkshop: Das Leuphana Semester – eine Orientierung für die Hochschule der Zukunft (Leitung gemeinsam mit Tom Schmidt)
  2. Evaluation of a project submitted for financial support to FCT – 2022 CALL FOR R&D PROJECT GRANTS, Portugal: Frederic Dufaux (Chair)
  3. Möglichkeiten und Grenzen der Steuerung gesellschaftlicher Naturverhältnisse: Plädoyer für eine Neuerfindung des Ökonomischen
  4. Analysis of Climate Adaptation Strategy Development: Strategy-Making in the German Länder - The Cases of Lower Saxony and Bavaria
  5. Aus der Vergangenheit lernen - Europa vollenden. Laudatio anlässlich der Verleihung des Dr. h.c. an SE Staatspräsident Egils Levits
  6. Kulturschlösser oder Freigeister?: Möglichkeiten und Grenzen der Teilhabe von Bürgern an Kulturentwicklungsprozessen in Hamburg
  7. Hochschulöffentlicher Vortrag : "Citizenship Education in South Africa and Germany - Einblicke in ein aktuelles Forschungsprojekt."
  8. The paths and parts one picture paints: Tracing a visual’s multimodal and relational boundary work in an interorganizational team
  9. Emotional labor in daily leader-follower interactions: How employees can secure state leader-member exchange and relational energy
  10. "Schulnahe Unterstützung für einen modernen Englischunterricht in Brandenburg": Ergebnisse der wissenschaftlichen Begleitforschung
  11. "Schulnahe Unterstützung für einen modernen Englischunterricht in Brandenburg": Ergebnisse der wissenschaftlichen Begleitforschung
  12. Internationale Tagung „Wissen in der Transnationalisierung – Zur Ubiquität und Krise der Übersetzung“ des DFG-Netzwerks „Trans/Wissen“
  13. 7. Sektionstagung der Sektion Allgemeine Erziehungswissenschaft der Deutschen Gesellschaft für Erziehungswissenschaft - DGfE 2013
  14. Postervortrag: EU-Projekt ‘Ambassadors for Women and Science – Pallas Athene’: Evaluation des Projektverbundes, mit Annelie Wellensiek

Publikationen

  1. THE RADICAL ROLE OF INFORMATION TECHNOLOGIES IN POLITICAL IMAGINATION AND PRODUCTION OF COMMON FUTURE IN BELARUSIAN PROTESTS
  2. Die Entwicklung eines Theorie-Praxisseminars mit multiperspektivischen Unterrichtsvideos an der Leuphana Universität Lüneburg
  3. Verständnis und Messung sozialer und positiver Nachhaltigkeitswirkungen: Erkenntnisse aus Literatur, Praxis und Delphi Studien
  4. Cost-benefit ratio and empirical examination of the acceptance of heathland maintenance in the Lueneburg Heath nature reserve
  5. Michael Korthaus: Kreuzestheologie. Geschichte und Gehalt eines Programmbegriffs in der evang. Theologie, BHTh 142, Tübingen 2007
  6. Fostering students’ participation in the implementation of the sustainable development goals at higher education institutions
  7. „Protonen bei chemischen Reaktionen?“ – didaktische Rekonstruktion des Säure-Base-Konzepts nach Brønsted für die Sekundarstufe II
  8. Nachhaltigkeitsrechnungswesen als Bindeglied zwischen Sustainability Balanced Scorecard und Nachhaltigkeitsberichterstattung
  9. Comparing the fatigue performance of Ti-4Al-0.005B titanium alloy T-joints, welded via different friction stir welding sequences
  10. On the Differential and Shared Effects of Leadership for Learning on Teachers’ Organizational Commitment and Job Satisfaction
  11. Technische, betriebswirtschaftliche und rechtlichte Analyse des Einsatzes regionaler virtueller Kraftwerke in der Region Nord
  12. Predictive mapping of species richness and plant species' distributions of a peruvian fog oasis along an altitudinal gradient
  13. Application of neural network for correction of hole drilling plasticity effect when measuring LSP induced residual stresses
  14. Arendt i Kant: ravnopravni drugi i “prosireni nacin misljenja“ (Arendt and Kant: the Equal Others and an “Extended Way of Thinking”)
  15. Ergebnisse vergleichender Untersuchungen in Natur- und Wirtschaftswäldern und Folgerungen für eine naturnahe Buchenwirtschaft
  16. Intra- and interspecific tree diversity promotes multitrophic plant–Hemiptera–ant interactions in a forest diversity experiment
  17. The Human Aspect of Cross-Border Acquisition Outcomes: The Role of Management Practices, Employee Emotions, and National Culture
  18. Rezension von: Standhartinger, Angela: Handbuch zum Neuen Testament. 11,1, Der Philipperbrief, Mohr Siebeck 2021, ISBN 9783161601026.
  19. Editorial: Governance for Sustainable Development in the Face of Ambivalence, Uncertainty and Distributed Power: an Introduction
  20. Internetbasierte Ansätze in der Prävention und Behandlung von depressiven Beschwerden bei Jugendlichen und jungen Erwachsenen
  21. Chronological and sedimentological investigations of the Late Pleistocene succession in Osterbylund (Schleswig-Holstein, Germany)
  22. Attrition and adherence in a WEB-based distress management program for implantable CARdioverter defibrillator patients (WEBCARE)
  23. Geometrical Characterization of Polyethylene Oxide Nanofibers by Atom Force Microscope and Confocal Laser Scanning Microscope
  24. Der Transfer von Modellversuchsergebnissen zur Berufsbildung für nachhaltige Entwicklung in den Lernort berufsbildende Schule.
  25. Foreign and Domestic Takeovers in Germany: First Comparative Evidence on the Post-acquisition Target Performance using new Data
  26. Possible underestimations of risks for the environment due to unregulated emissions of biocides from households to wastewater
  27. Entrepreneurial Traits, Entrepreneurial Orientation, and Innovation in the Performance of Owner-Manager Led Firms: A Meta-analysis