Analytic reproducibility in articles receiving open data badges at the journal Psychological Science: An observational study

Research output: Journal contributionsJournal articlesResearchpeer-review

Authors

  • Tom E. Hardwicke
  • Manuel Bohn
  • Kyle MacDonald
  • Emily Hembacher
  • Michèle B. Nuijten
  • Benjamin N. Peloquin
  • Benjamin E. Demayo
  • Bria Long
  • Erica J. Yoon
  • Michael C. Frank

For any scientific report, repeating the original analyses upon the original data should yield the original outcomes. We evaluated analytic reproducibility in 25 Psychological Science articles awarded open data badges between 2014 and 2015. Initially, 16 (64%, 95% confidence interval [43,81]) articles contained at least one 'major numerical discrepancy' (>10% difference) prompting us to request input from original authors. Ultimately, target values were reproducible without author involvement for 9 (36% [20,59]) articles; reproducible with author involvement for 6 (24% [8,47]) articles; not fully reproducible with no substantive author response for 3 (12% [0,35]) articles; and not fully reproducible despite author involvement for 7 (28% [12,51]) articles. Overall, 37 major numerical discrepancies remained out of 789 checked values (5% [3,6]), but original conclusions did not appear affected. Non-reproducibility was primarily caused by unclear reporting of analytic procedures. These results highlight that open data alone is not sufficient to ensure analytic reproducibility.

Original languageEnglish
Article number201494
JournalRoyal Society Open Science
Volume8
Issue number1
Number of pages9
ISSN2054-5703
DOIs
Publication statusPublished - 06.01.2021
Externally publishedYes

Bibliographical note

Funding Information:
Data accessibility. All data, materials and analysis scripts related to this study are publicly available on the Open Science Framework (https://osf.io/n3dej/). To facilitate reproducibility, this manuscript was written by interleaving regular prose and analysis code using knitr [28] and papaja [29], and is available in a Code Ocean container (https://doi.org/ 10.24433/CO.1796004.v3) which re-creates the software environment in which the original analyses were performed. Authors’ contributions. T.E.H. and M.C.F. designed the study. T.E.H., M.B., K.M., E.H., M.B.N., B.N.P., B.E.d.M., B.L., E.J.Y. and M.C.F. conducted the reproducibility checks. T.E.H. performed the data analysis. T.E.H. and M.C.F. wrote the manuscript. M.B. and M.B.N. provided feedback on the manuscript. All authors gave final approval for publication. Competing interests. We declare we have no competing interests. Funding. T.E.H.’s contribution was enabled by a general support grant awarded to the Meta-Research Innovation Center at Stanford (METRICS) from the Laura and John Arnold Foundation and a grant from the Einstein Foundation and Stiftung Charité awarded to the Meta-Research Innovation Center Berlin (METRIC-B). Acknowledgements. We are grateful to the authors of the original articles for their assistance with the reproducibility checks. We thank students from Stanford’s Psych 251 class, who contributed to the initial reproducibility checks.

Publisher Copyright:
© 2021 The Authors.

    Research areas

  • journal policy, meta-research, open badges, open data, open science, reproducibility
  • Psychology

Documents

DOI

Recently viewed

Publications

  1. `Macht ist kein Samthandschuh der Gewalt`- Macht als Grundbegriff einer kritischen Handlungswissenschaft?
  2. Piloting a carbon emissions audit for an international arts festival under tight resource constraints
  3. Neural Networks for Energy Optimization of Production Processes in Small and Medium Sized Enterprises
  4. Aufbau einer Landesfachstelle „Suizidprävention in der Kinder- und Jugendhilfe“ in Mecklenburg-Vorpommern
  5. Qualifizierung von Erzieherinnen und Erziehern zur frühkindlichen Medienbildung in Kindertagesstätten
  6. Sachunterricht für das 21. Jahrhundert - Weltorientierung durch Bildung für eine nachhaltige Entwicklung
  7. How to measure the substantive representation of traditionally excluded groups in comparative research
  8. Fear of Infection or Justification of Social Exclusion? The Symbolic Exploitation of the Ebola Epidemic
  9. Opting Out of unclos Tribunals: The Impact of Maritime Delimitation in the Indian Ocean (Somalia v. Kenya)
  10. Jugendleben in stationären Erziehungshilfen Perspektiven von Jugendlichen und Fachkräften im Vergleich
  11. Zur phonetischen Anpassung deutscher Wörter in weißrussischen Dialekten (am Beispiel der Region Hrodna)
  12. Inzest und Autor-Imago im Marionettentheater. Zum Identitätskonzept in Felicitas Hoppes Paradiese, Übersee.
  13. Hervorragendes Lehrbuch europäischer Regierungssysteme Ismayr, W. (Hrsg.): Die politischen Systeme Osteuropas
  14. Das Stufenmodell zur Lesekompetenz der länderübergreifenden Bildungsstandards im Vergleich zu IGLU 2006
  15. Der Weg in die Schule - Passagenbewältigung von Lehramtsanwärtern und -anwärterinnen in Eigenkonstruktion
  16. Videostudie zu sprachförderlichen Merkmalen der Lehrersprache und deren Wirkungen auf Schülerleistungen
  17. Präpositionale Ellipsen im Schweizer SMS-Korpus - kontrastiv: Schweizerdeutsch, Französisch und Italienisch
  18. Bürgergesellschaft/Zivilgesellschaft auf dem Hintergrund der kommunalen Kinder-, Jugend- und Familienpolitik
  19. Veränderte Aufgaben und neue Profile. Professionalisierung und Professionalität in der Erwachsenenbildung
  20. Simulation wilder Spekulationen. Oder: Wie einmal Paul Baran mit einem falschen Modell das Internet erfand
  21. Führt eine Trennung von Prüfungs- und Nichtprüfungsleistungen zur Steigerung der Rechnungslegungsqualität?
  22. Ein lernbiologisch begründetes Evaluationskonzept für den integrativen DaF-Unterricht mit digitalen Medien
  23. Arte urbano im Spanischunterricht – die Straßen von Caracas als kultureller und politischer Handlungsraum
  24. Relationships between the vegetation and soil conditions in beech and beech-oak forests of northern Germany
  25. Nachhaltigkeitskonzepte von Lehrenden im Kontext der Kompetenzentwicklung für eine nachhaltige Entwicklung
  26. Zur Beurteilung der Gesprächsqualität im telefonischen Verkauf - Zwischenbericht über ein Forschungsprojekt
  27. Defined mechanochemical reductive dechlorination of 1,3,5-trichlorobenzene at room temperature in a ball mill
  28. Der Top-Runner-Ansatz als Instrument zur Steigerung der Endenergieeffizienz bei energiebetriebenen Produkten
  29. ‘The human shield effect’: Human-wildlife co-occurrence patterns in the coffee forests of southwestern Ethiopia