Die Replikationskrise oder Krise der Reproduzierbarkeit ist die anhaltende Beobachtung, dass zahlreiche wissenschaftliche Erkenntnisse in erneuten Studien nicht bestätigt werden können.
In der Psychologie wird seit 2011 verstärkt über diese methodische Krise diskutiert. Damit einher gehen zunehmende Zweifel an der Reliabilität veröffentlichter psychologischer Studien. Einer großen öffentlichen Beachtung ausgesetzt und Mitauslöser für die Diskussion um die Replikationskrise in der Psychologie waren die von dem Sozialpsychologen Daryl Bem berichteten „Vorahnungen“ in Gedächtnisexperimenten, zu denen es gleich drei Replikationsversuche gab, die das ursprüngliche Ergebnis nicht wiederholen konnten.Ed Yong: Jede Menge Murks. In: Spektrum der Wissenschaft. Februar 2013, S. 58–63. Der kritische Bericht über diese Falsifikation wurde von Science und zwei psychologischen Fachzeitschriften abgelehnt, bevor er in der Online-Publikation PLOS ONE erschien.
In der Medizin wird die von John Ioannidis 2005 veröffentlichte Publikation Why Most Published Research Findings Are False als Ursprung der in diesem Fachbereich stattfindenden Diskussion um die Replikationskrise gesehen.
Reproduzierbarkeit der Untersuchungsergebnisse durch andere Forscher ist eine fundamentale Anforderung an wissenschaftliche Forschungsarbeiten, insbesondere in den Naturwissenschaften. Auch in anderen empirischen Wissenschaften wie der Psychologie und der Medizin sollten wichtige Ergebnisse durch unabhängige und qualifizierte Untersucher kontrolliert werden. Damit ist die Erwartung verbunden, dass wissenschaftliche Forschung sich in ihrem Verlauf selbst kontrolliert und sich schrittweise auf der Grundlage der replizierten Befunde weiterentwickelt.
Ausgangslage Dass zahlreiche nicht-reproduzierbare Untersuchungsergebnisse publiziert wurden, ist in der Geschichte und Methodenlehre der Wissenschaften durchaus bekannt (vgl. Publikationsbias in der Medizin). Auch in der Vergangenheit gab es einzelne Stimmen,Nathaniel E. Smith: Replication Study: A neglected aspect of psychological research. In: American Psychologist. Vol. 25 (10), S. 970–975. die zu einer Replikation psychologischer Ergebnisse aufforderten. Bereits 1959 hatte der Statistiker Theodore Sterling bei seiner Analyse der Artikel in vier Psychologie-Zeitschriften festgestellt, dass fast alle Arbeiten positive Ergebnisse berichteten. Er sah hier einen Zusammenhang mit den Auswahlkriterien für eingereichte Manuskripte, welche die Publikation „positiver“ Ergebnisse begünstigen; eine erneute Analyse zeigte im Jahr 1995 eine unveränderte Sachlage.Theodore D. Sterling: Publication decisions and their possible effects on inferences drawn from tests of significance – or vice versa. In: Journal of the American Statistical Association. Vol. 54 (285), 1959, S. 30–34.Theodore D. Sterling, Wilf F. Rosenbaum, James J. Weinkam: Publication decisions revisited: The effect of the outcome of statistical tests on the decision to publish and vice versa. In: The American Statistician. Vol. 49, 1995, S. 108–112.
Die Frage der Reproduzierbarkeit wichtiger Befunde wird auf einigen Gebieten der Psychologie – wie auch in der Medizin – hauptsächlich in den gründlich referierenden Übersichten-Reviews zu kontroversen Themen oder in den auch statistisch zusammenfassenden Metaanalysen diskutiert (siehe evidenzbasierte Medizin). Demgegenüber sind in den Literaturbanken der Psychologie nur relativ wenige Publikationen über erfolgreiche und nicht erfolgreiche Replikationen psychologischer Experimente oder systematisch variierende Generalisierbarkeitsstudien verzeichnet. Gelegentlich äußert sich das in Fachkreisen durchaus vorhandene Problembewusstsein angesichts unerwarteter und wenig wahrscheinlicher Ergebnisse in dem ironisch-spöttischen Hinweis auf das Journal of Irreproducible Results, dessen Beiträge die Leser zum Lachen und dann zum Nachdenken bewegen sollen (Wissenschaftlicher Witz). Diesem 1955 gegründeten Magazin folgten 1995 die satirischen Annals of Improbable Research mit realen und fiktiven Experimenten zu oft absurden Themen.
In den Lehrbüchern der Methodenlehre der Psychologie werden die Strategien der Replikationsforschung eher beiläufig behandelt. Es mangelt noch an methodologischer Diskussion, an Konventionen und systematischen Ansätzen, und es gibt „Jede Menge Murks:“Ed Yong: Jede Menge Murks. In: Spektrum der Wissenschaft. Februar 2013, S. 58–63.
Ursachen der Replikationskrise Welche Gründe hat dieser Mangel wissenschaftlicher Kontrolle? Sich mit Replikationen zu befassen, könnte als wenig kreativ gelten; entsprechende Publikationen würden dann kaum zum wissenschaftlichen Ansehen beitragen, so dass sie zumindest für jüngere Wissenschaftler weniger förderlich wären als die Publikation „neuer“ Befunde. Für diese Vermutung spricht die sehr reservierte Einstellung der Herausgeber vieler wissenschaftlicher Zeitschriften. In einer 1993 veröffentlichten Umfrage unter 79 Herausgebern von Social Science Journals lehnten 94 Prozent die Annahme von Manuskripten über Replikationsstudien ab, 54 Prozent der Gutachter meinten, dass sie eine neue Studie einer Replikationsstudie vorziehen.James W. Neuliep, Rick Crandell: Editorial bias against replication research. In: Journal of Social Behavior and Personality. Vol. 8, 1993, S. 21–29. Könnte darüber hinaus auch die Sorge mitspielen, dass zu viele publizierte Befunde nicht reproduzierbar sind? Im Hinblick auf das Reproducibility Project zitiert Siri Carpenter verschiedene Meinungen. So wird zwar diese „kühne Initiative“ anerkannt, jedoch zu bedenken gegeben, dass das Projekt, falls es nur wenige Experimente bestätigen würde, auf eine unfaire Anschuldigung der Psychologie hinauslaufen könne:Siri Carpenter: Psychology’s bold initiative. In: Science. 2012, S. 1558–1561.
Ein Senior der Psychologie habe von dem geplanten Reproducibilty Project abgeraten, weil die Psychologie unter Druck stehe und ein solches Projekt die Psychologie schlecht aussehen ließe.Siri Carpenter: Psychology’s bold initiative. In: Science. 2012, S. 1559. Dagegen lobten andere Wissenschaftler die Initiative. Andere Disziplinen könnten von dieser Art der Selbst-Reflexion profitieren. Der Organisator des Projekts, Brian Nosek, erläuterte seinen Standpunkt:Siri Carpenter: Psychology’s bold initiative. In: Science. 2012, S. 1559.
Fragwürdige Forschungsmethoden In den USA und allmählich auch in Deutschland ist in allgemeinen Wissenschafts-Zeitschriften eine zunehmend kritische Einstellung gegenüber den üblichen Publikationsweisen und der mangelnden innerfachlichen Kontrolle zu erkennen. Das Interesse an Replikationsstudien wurde durch systematische Nachweise statistischer Mängel und durch extreme Fälle von Datenfälschung erhöht. Zunehmend wird die Forderung nach Qualitätskontrolle, beispielsweise nach Qualitätssicherung in der Psychologischen Diagnostik erhoben.
Ein neueres Beispiel für Betrug und Fälschung in der Wissenschaft gab der bekannte Sozialpsychologe Diederik Stapel, der mindestens 30 Publikationen mit erfundenen Daten verfasste. (Diese Fälschungen wurde allerdings nicht durch Replikationsversuche entdeckt, sondern aufgrund von Hinweisen aus seinem Arbeitskreis.) Außerdem bestehen aktuelle Vorwürfe gegen zwei weitere Sozialpsychologen: Dirk Smeesters und Jens Förster. Die Anzahl der Rückrufe von nicht mehr vertrauenswürdigen wissenschaftlichen Veröffentlichungen in der Medizin, aber auch in den Sozialwissenschaften, ist zwar gering, hat jedoch deutlich zugenommen, wobei „Betrug“ der Hauptgrund war.Jürgen Margraf: Zur Lage der Psychologie. In: Psychologische Rundschau, 60 (1), 2015, 1–30. Die Rückrufquote scheint auch mit dem Impact-Faktor, d. h. dem Ansehen der Zeitschrift, zusammenzuhängen.Ferric C. Fang, Arturo Casadevall: Retracted science and the retraction index. In: Infection and Immunity, 79(10), 2011, 3855–3859. doi:10.1128/IAI.05661-11. In einer auf 2155 Antworten basierenden Umfrage zur Untersuchung der Forschungspraxis von Psychologen in den USA ergab sich: 43 Prozent räumten ein, unpassende Daten fortgelassen zu haben, 35 Prozent taten so, als ob das überraschende Ergebnis genau das war, was sie erwartet hätten, 2 Prozent räumten ein, bereits Daten frisiert zu haben.Leslie K. John, George Loewenstein, Drazen Prelec: Measuring the Prevalence of Questionable Research Practices with Incentives for Truth Telling. In: Psychological Science. Vol. 23, 2012, S. 524–532. Die Untersucher haben einen Entscheidungsspielraum bei der Versuchsplanung: wie viele Personen, wie viele abhängige Variablen usw. Beispielsweise könnte die Chance, signifikante Ergebnisse zu erhalten, verdoppelt werden, wenn die Untersuchungsteilnehmer in zwei Altersgruppen oder wenn sie nach Geschlechtszugehörigkeit aufgegliedert werden. Außerdem können in paralleler Weise zusätzliche Prüfstatistiken berechnet werden. Ein Untersucher hat viele „Freiheitsgrade“ dieser Art und könnte versucht sein, durch solche, eventuell im Nachhinein getroffenen „flexiblen“ Entscheidungen die gewünschten „positiven“ Ergebnisse zu erreichen.Joseph Simmons, Leif D. Nelson, Uri Simonsohn: False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. In: Psychological Science. Vol. 22, 2011, S. 1359–1366. Im Extremfall werden die Hypothesen erst formuliert, wenn die Ergebnisse vorliegen. In vielen Forschungsbereichen der Psychologie und der Medizin sind wegen des erheblichen Aufwandes Untersuchungen mit nur 20 bis 30 Personen üblich, beispielsweise in den Neurowissenschaften.Katherine S. Button, John P. A. Ioannidis, Claire Mokrysz, Brian A. Nosek, Jonathan Flint, Emma S. J. Robinson, Marcus R. Munafo: Power failure: why small sample size undermines the reliability of neuroscience. In: Nature Reviews Neuroscience. Vol. 14, May 2013, S. 365–376.Michael Springer: Die (allzu) kleine Welt der Hirnforscher. Statistisch steht die Neurowissenschaft auf tönernen Füssen. Glosse. In: Spektrum der Wissenschaft. Mai 2013, S. 20. Oft wird übersehen, dass die statistischen Ergebnisse aufgrund der wenigen Daten einer Kleinstichprobe sogar in das Gegenteil verkehrt werden können, wenn der Autor bereits vor den Berechnungen einen auffälligen Wert, einen „Ausreißer“, berücksichtigt oder ausklammert. Eine systematische Reanalyse klinischer Untersuchungen ergab, dass die Schlussfolgerungen zu den untersuchten Behandlungen bei 35 % der Publikationen substanziell von denjenigen der ursprünglichen Publikationen abweichen.Z. N. Sohani, Z. N. Reanalysis of Randomized Clinical Trial Data. In: JAMA - The Journal of the Medical Association, 312 (10), 2014, 1024–1032. Wenn in den Folgestudien die Effektstärke deutlich abnimmt, wird von einem Decline-Effekt gesprochen. Andere Autoren weisen auf die begrenzte Aussagekraft der statistischen Signifikanz eines Befundes hin und fordern, dass stets auch die Größenordnung des Effektes (Effektstärke) eines Untersuchungsergebnisses in geeigneten Kennwerten angegeben wird (Analyse der Power). Die Durchsicht von 1000 Publikationen ergab, gegen die theoretische Erwartung, dass die Effektstärke bei steigendem Stichprobenumfang abnimmt, d. h. ein spezieller Publikationsbias anzunehmen ist.Anton Kühberger, Astrid Fritz, Scherndl, Thomas: Publication bias in psychology: a diagnosis based on the correlation between effect size and sample size. In: PloS one, 2014, 9 (9), e105825, .