WWann haben Sie das letzte Mal eine wissenschaftliche Arbeit gesehen? Eine körperliche, meine ich. Ein älterer Akademiker in meiner früheren Universitätsabteilung bewahrte alle seine wissenschaftlichen Zeitschriften in recycelten Cornflakes-Schachteln auf. Wenn Sie sein Büro betreten, werden Sie von einer Wand aus Kellogg’s-Hähnen begrüßt, die Regal auf Regal stehen, auf Paketen mit verschiedenen Ausgaben des Journal of Experimental Psychology, Psychophysiology, Journal of Neuropsychology und dergleichen. Es war ein seltsamer Anblick, aber er hatte Methode: Wenn Sie Ihre Tagebücher nicht organisierten, wie konnten Sie dann erwarten, dass Sie die bestimmte Zeitung fanden, nach der Sie suchten?
Die Zeit der Cornflakes-Boxen ist vorbei: Jetzt haben wir das Internet. Seit dem auf Papier gedruckt allererste wissenschaftliche Zeitschrift wurde 1665 eingeweiht, die überwältigende Mehrheit der Forschung wird heute online eingereicht, überprüft und gelesen. Während der Pandemie wurde es oft in den sozialen Medien verschlungen, ein wesentlicher Bestandteil der sich entfaltenden Geschichte von Covid-19. Gedruckte Zeitschriften werden zunehmend als Kuriositäten angesehen – oder gar nicht angeschaut.
Aber obwohl das Internet die Art und Weise, wie wir es lesen, verändert hat, hat das Gesamtsystem, wie wir es lesen veröffentlichen Die Wissenschaft bleibt weitgehend unverändert. Wir haben noch wissenschaftliche Arbeiten; wir schicken sie immer noch an Peer-Reviewer; Wir haben immer noch Redakteure, die die Veröffentlichung eines Artikels in ihrer Zeitschrift endgültig positiv oder negativ bewerten.
Dieses System bringt große Probleme mit sich. Das wichtigste unter ihnen ist das Thema Publikationsbias: Gutachter und Redakteure geben einer wissenschaftlichen Arbeit eher ein gutes Review und veröffentlichen sie in ihrer Zeitschrift, wenn sie positive oder spannende Ergebnisse berichtet. Daher unternehmen Wissenschaftler große Anstrengungen, um ihre Studien aufzupeppen, stützen sich auf ihre Analysen, um „bessere“ Ergebnisse zu erzielen, und begehen manchmal sogar Betrug, um diese überaus wichtigen Gatekeeper zu beeindrucken. Das verzerrt drastisch unseren Blick auf das, was wirklich vor sich ging.
Es gibt einige mögliche Korrekturen, die die Funktionsweise von Journalen ändern. Vielleicht könnte die Entscheidung zur Veröffentlichung nur auf der Grundlage der Methodik einer Studie getroffen werden und nicht auf der Grundlage ihrer Ergebnisse (dies ist passiert schon in bescheidenem Umfang in einigen Zeitschriften). Vielleicht könnten Wissenschaftler einfach veröffentlichen alles ihre Forschung standardmäßig, und Zeitschriften würden kuratieren, statt zu entscheiden, deren Ergebnisse in die Welt hinausgehen. Aber vielleicht könnten wir noch einen Schritt weiter gehen und wissenschaftliche Arbeiten ganz abschaffen.
Wissenschaftler sind besessen von Veröffentlichungen – insbesondere davon, mehr Veröffentlichungen unter ihrem Namen zu veröffentlichen, wodurch der entscheidende Abschnitt „Veröffentlichungen“ ihres Lebenslaufs erweitert wird. Es mag also unverschämt klingen, zu behaupten, wir könnten ohne sie auskommen. Aber diese Besessenheit ist das Problem. Paradoxerweise ist der heilige Status von a veröffentlichtes, peer-reviewed Paper macht es schwieriger, den Inhalt dieser Papiere richtig zu machen.
Betrachten Sie die chaotische Realität der wissenschaftlichen Forschung. Studien werfen fast immer seltsame, unerwartete Zahlen auf, die jede einfache Interpretation erschweren. Aber ein traditionelles Papier – Wortzahl und so – zwingt Sie ziemlich dazu, die Dinge herunterzuspielen. Wenn das, worauf Sie hinarbeiten, ein großes Meilensteinziel einer veröffentlichten Arbeit ist, ist die Versuchung allgegenwärtig, ein paar der gezackten Kanten Ihrer Ergebnisse abzuheften, um „eine bessere Geschichte zu erzählen“. Viele Wissenschaftler zugebenin Umfragen, genau das zu tun – ihre Ergebnisse eindeutig zu machen, attraktiv aussehende Papiereaber dabei die Wissenschaft verzerren.
Und denken Sie über Korrekturen nach. Wir wissen, dass wissenschaftliche Arbeiten regelmäßig Fehler enthalten. Ein Algorithmus, der Tausende von psychologischen Artikeln durchlief festgestellt, dass, im schlimmsten Fall hatten mehr als 50 % einen bestimmten statistischen Fehler, und mehr als 15 % hatten einen Fehler, der schwerwiegend genug war, um die Ergebnisse zu verwerfen. Bei Aufsätzen ist die Korrektur dieser Art von Fehlern eine Qual: Sie müssen in die Zeitschrift schreiben, die Aufmerksamkeit des beschäftigten Redakteurs auf sich ziehen und ihn dazu bringen, einen neuen, kurzen Aufsatz herauszugeben, der die Korrektur formal beschreibt. Viele Wissenschaftler, die Korrekturen anfordern, finden sich wieder gemauert oder anderweitig von Zeitschriften ignoriert werden. Stellen Sie sich die Anzahl von Fehlern vor, die die wissenschaftliche Literatur verunreinigen, die nicht korrigiert wurden, weil es einfach zu viel wäre Ärger.
Betrachten Sie schließlich die Daten. Früher war es mehr oder weniger unmöglich, die Rohdaten, die die Grundlage einer Zeitung bildeten, mit den Lesern dieser Zeitung zu teilen. Jetzt kann es mit wenigen Klicks erledigt werden, indem die Daten in ein hochgeladen werden Depot öffnen. Und doch tun wir so, als lebten wir in der Welt von gestern: Papiere sind immer noch kaum mit den Daten versehen, sodass Rezensenten und Leser das Gesamtbild nicht sehen können.
Die Lösung für all diese Probleme ist die gleiche wie die Antwort auf „Wie organisiere ich meine Zeitschriften, wenn ich keine Cornflakes-Boxen verwende?“ Nutze das Internet. Wir können Papiere in Mini-Websites umwandeln (manchmal auch „Notizbücher“), die offen über die Ergebnisse einer bestimmten Studie berichten. Dies gibt nicht nur jedem einen Überblick über den gesamten Prozess von den Daten über die Analyse bis hin zum Schreiben – der Datensatz würde zusammen mit dem gesamten statistischen Code, der zu seiner Analyse verwendet wird, an die Website angehängt, und jeder könnte die vollständige Analyse reproduzieren und überprüfen erhalten die gleichen Zahlen – aber alle Korrekturen könnten schnell und effizient vorgenommen werden, mit Datum und Uhrzeit aller Aktualisierungen öffentlich protokolliert.
Dies wäre eine wesentliche Verbesserung gegenüber dem Status quo, wo die Analyse und das Verfassen von Artikeln vollständig privat erfolgen und die Wissenschaftler dann aus einer Laune heraus entscheiden, ob sie ihre Ergebnisse veröffentlichen wollen. Sicher, wenn man Sonnenlicht auf den gesamten Prozess wirft, kann man Zweideutigkeiten oder schwer zu erklärende Widersprüche in den Ergebnissen erkennen – aber so ist Wissenschaft wirklich. Es gibt auch andere potenzielle Vorteile dieser Hi-Tech-Art der Veröffentlichung von Wissenschaft: Wenn Sie beispielsweise eine Langzeitstudie zum Klima oder zur kindlichen Entwicklung durchführen, wäre es ein Kinderspiel, neue Daten hinzuzufügen, sobald sie erscheinen.
Melden Sie sich für unseren Inside Saturday Newsletter an, um einen exklusiven Blick hinter die Kulissen der Entstehung der größten Features des Magazins sowie eine kuratierte Liste unserer wöchentlichen Highlights zu erhalten.
Es gibt Hindernisse für große Veränderungen wie diese. Einige haben mit Fähigkeiten zu tun: Es ist einfach, ein Word-Dokument mit Ihren Ergebnissen zu schreiben und es an ein Tagebuch zu senden, wie wir es jetzt tun; Es ist schwieriger, eine Notebook-Website zu erstellen, die Daten, Code und Interpretation miteinander verwebt. Noch wichtiger ist, wie würde Peer Review in diesem Szenario funktionieren? Es wurde vorgeschlagen, dass Wissenschaftler „rote Mannschaften“ – Leute, deren Aufgabe es ist, Löcher in Ihre Funde zu bohren – um in ihren Notizbüchern zu graben und sie bis zur Zerstörung zu testen. Aber wer zahlen würde und wie genau das System funktionieren würde, steht zur Debatte.
Wir haben in so vielen Bereichen der Wissenschaft erstaunliche Fortschritte gemacht, und doch stecken wir immer noch in dem alten, fehlerhaften Modell der Veröffentlichung von Forschungsergebnissen fest. Tatsächlich erinnert sogar der Name „Papier“ an eine längst vergangene Zeit. Einige Bereiche der Wissenschaft sind bewegt sich schon in die Richtung, die ich hier beschrieben habe, mit Online-Notizbüchern anstelle von Zeitschriften – lebende Dokumente statt lebende Fossilien. Es ist Zeit für den Rest der Wissenschaft, diesem Beispiel zu folgen.
Weiterlesen
Warum der Wissenschaft vertrauen? von Naomi Oreskes
Die sieben Todsünden der Psychologie: Ein Manifest zur Reform der Kultur der wissenschaftlichen Praxis von Chris Chambers
Rigor Mortis: Wie schlampige Wissenschaft wertlose Heilmittel schafft, Hoffnung zerstört und Milliarden verschwendet von Richard Harris