Was ist aus den ganzen Working Paper geworden? – Eine Analyse für vier volkswirtschaftliche Working-Paper-Reihen

Online Repositories und die darin verzeichneten Working Paper (auch Preprints oder Diskussionspapiere) erfreuen sich wachsender Beliebtheit in verschiedenen Bereichen der Wissenschaft. So sind in dem Repository SSRN rund 950.000 Working Paper gelistet, auf arXiv 1,7 Millionen und auf RePEc 950.000 (Stand jeweils Juli 2020). Gerade RePEc (Research Papers in Economics) ist in der volkswirtschaftlichen Profession durchaus beliebt. (Dies könnte auch daran liegen, dass dort Rankings verschiedener Art für Autoren und Institutionen monatlich zur Verfügung gestellt werden (Seiler und Wohlrabe 2012).) Nahezu alle relevanten Working-Paper-Reihen und Fachzeitschriften sind dort gelistet. Der Vorteil von zeitnahem Publizieren liegt klar auf der Hand: Die Informationen gelangen schneller an die Öffentlichkeit und die AutorInnen können aufzeigen, woran sie forschen und zu welchen Erkenntnissen und Ergebnissen sie bereits gekommen sind.

Aber was passiert mit einem Fachaufsatz nachdem er als Working Paper (WP) veröffentlicht worden ist? Grundsätzlich bestehen drei Optionen:

1.  Veröffentlichung in einer (Fach)Zeitschrift.
2.  Veröffentlichung als Buchkapitel
3.  Keine weitergehende Veröffentlichung oder Verwertung.

Diese Optionen sollen im Folgenden untersucht werden und beruhen auf Erkenntnissen die in Baumann und Wohlrabe (2020a,b) veröffentlicht worden sind.

Ausgangspunkt der Untersuchung

Die Grundlage für die Analyse bilden die vier Working-Paper-Reihen

•  NBER (National Bureau of Economic Research) Working Papers
•  CEPR (Centre for European Policy Research) Discussion Papers
•  IZA (Institut für die Zukunft der Arbeit) Discussion Papers
•  CESifo (Center for Economic Studies) Working Papers

welche zu den bekanntesten und meist zitierten Reihen in der Volkswirtschaftslehre gehören (Baumann und Wohlrabe 2020b). Der Analyse liegen alle Working Paper der Reihen aus den Jahren 2000 bis 2010 zu Grunde. Insgesamt wurden knapp 29.000 Artikel berücksichtigt. In Tabelle 1 wird gezeigt, wie sich diese Zahl auf die vier Reihen verteilt. Der größte Anteil entfällt auf die NBER-Reihe, während in der CESifo-Reihe die wenigsten WP veröffentlicht worden sind. Ein immer häufigeres zu beobachtendes Phänomen ist, dass Artikel in mehreren Reihen veröffentlicht werden. Dies wird in Abbildung 1 bestätigt. Dort wird die durchschnittliche Anzahl von WP-Reihen angegeben, in welchen ein Artikel erschienen ist. Dabei werden auch andere Reihen außer den vier untersuchten berücksichtigt. Der Durschnitt steigt für alle Reihen über die Zeit. Artikel, die in der CEPR-Reihe erschienen sind, werden im Vergleich gleichzeitig vermehrt auch in anderen Reihen veröffentlicht. Für die NBER-Reihe ist der Durchschnitt konstant am niedrigsten.

Abbildung 1: Durchschnittliche Anzahl von WP-Reihen pro Artikel über die Zeit

Quelle: Baumann und Wohlrabe (2020b)

Für jedes WP wurde nun mit Hilfe der RePEc-Webseite geprüft ob es entweder in einer Fachzeitschrift oder als Buchkapitel veröffentlicht worden ist. RePEc registriert dies über eine automatische Zuordnung, wenn sich der Titel des Artikels und der eines Papers gleichen sowie die Namen der AutorInnen übereinstimmen.

Wo werden die Working Paper letztendlich veröffentlicht?

Die Frage wird in Tabelle 1 beantwortet. Knapp 50% der Working Paper erscheinen in Fachzeitschriften und 4% werden als Buchkapitel veröffentlicht. Zwischen den verschiedenen WP-Reihen unterscheiden sich die Werte nur unwesentlich. Auffällig ist, dass mit 7,5% relativ viele Working Paper der NBER-Reihe als Buchkapitel erscheinen. In Abbildung 2 wird der Anteil der WP, die in einer Fachzeitschrift erscheinen, über die Zeit dargestellt. Es zeigt sich, dass dieser relativ konstant ist und keinerlei Trends erkennbar sind. Die Working-Paper-Artikel sind insgesamt in 622 verschiedenen Zeitschriften erschienen. Die meisten sind im American Economic Review (862) publiziert, gefolgt vom Journal of Public Economics (456) and dem Review of Economics and Statistics (456). In 38 verschiedenen Zeitschriften sind mindestens 100 Artikel aus einer der WP-Reihen erschienen. Für 189 Zeitschriften war es jeweils nur ein Artikel.

In Baumann und Wohlrabe (2020b) wird gezeigt, wie die Qualität der entsprechenden Zeitschriften ist, in den die Artikel erschienen sind. In Tabelle 2 wird der Anteil der Artikel welche in den sogenannten Top 5 Zeitschriften in der Ökonomik (Bornmann et al. 2018) dargestellt. Es zeigt sich, dass die NBER-Reihe hier am besten abschneidet. Nahezu 11% der mehr als 11.000 untersuchten Artikel sind in einer dieser Top-Zeitschriften erschienen. Den geringsten Anteil mit 1,7% findet sich für die CESifo-Reihe.

Tabelle 1: Veröffentlichte WPs als Artikel in Journals oder als Chapter

Quelle: Baumann und Wohlrabe (2020b)

Tabelle 2: Veröffentlichte Working Paper in den Top 5 Zeitschriften

Quelle: Baumann und Wohlrabe (2020b)

Abbildung 2: Anteil der veröffentlichten WPs über die Zeit

Quelle: Baumann und Wohlrabe (2020b)

Wie zuverlässig ist die Schätzung?

Auf Basis der Ergebnisse aus Tabelle 1 könnte man zum Schluss kommen, dass etwa 45% der Working Paper nirgendwo sonst veröffentlicht worden sind. Es kommen mehrere potenzielle Erklärungen in Frage, weshalb als Journal- oder Buchartikel veröffentlichte Studien nicht erkannt werden:

1. RePEc war (technisch) nicht in der Lage, ein WP einer Zeitschrift oder einem Buchkapitel zuzuordnen.
2. Die entsprechenden Zeitschriften oder Buchkapitel sind bei RePEc nicht gelistet, so dass eine Zuordnung unmöglich war.
3. Der Titel des Artikels hat sich geändert.

Gerade der letzte Punkt könnte relevant sein, da sich im Revisionsprozess eines Artikels oftmals der Name etwas oder komplett ändert. Dies könnte auch aufgrund einer inhaltlichen Fortentwicklung und/oder als Folge eines Gutachtens erfolgt sein.

Um zu untersuchen, inwieweit die genannten Punkte für unseren Datensatz relevant sind, haben wir eine zufällige Stichprobe von jeweils 100 Artikel pro Reihe gezogen. Für jeden einzelnen der 400 Artikel haben wir die Webseite der AutorInnen durchsucht und geschaut, ob eine Zuordnung zu einem Fachartikel in einer Zeitschrift oder Buchkapitel möglich ist. Dabei wurden sowohl die Titel der Artikel als auch die Abstracts sowie der Inhalt geprüft. Insgesamt konnten weitere 36% der untersuchten Artikel einer Zeitschrift zugeordnet werden. Weitere 9% sind als Buchkapitel veröffentlicht worden. Für die verbleibenden 55% konnten wir keine Hinweise auf den weiteren Verlauf des Artikels finden.

Werden die Ergebnisse der automatischen Zuordnung sowie die der zufälligen Stichprobe zusammengenommen, ergibt sich folgende Schätzung (Baumann und Wohlrabe 2020a): Etwa 66,5% der untersuchten Working Paper sind in einer Fachzeitschrift veröffentlicht worden. Rund 8% sind als Buchkapitel erschienen. Für die restlichen 25% ist unklar, was mit diesen geschehen ist.

Fazit

Die vorliegende Untersuchung zeigt, dass etwa 65% von mehr als 28.000 Working Paper aus vier Reihen in einer Fachzeitschrift veröffentlicht worden sind. Diese Publikationsrate blieb über den Zeitraum zwischen 2000 und 2012 nahezu unverändert. Was mit den Artikeln passiert ist, die nicht als Zeitschriftenartikel oder Buchkapitel veröffentlicht wurden, kann hier nicht beantwortet werden. Dafür kann es unterschiedliche Gründe geben. Zum einen war eine Zuordnung in RePEc aus technischen oder inhaltlichen Gründen nicht möglich. Gerade letzter Punkt könnte wichtig sein, wenn sich im Revisionsprozess einer Zeitschrift der Inhalt und Fokus und damit oft auch der Titel substantiell geändert hat. Zum anderen passiert es ab und zu, dass mehrere Working Paper zu einem neuen Artikel zusammengefasst werden. Zu guter Letzt ist es auch möglich, dass der Prozess der Veröffentlichung mit Peer Review-Verfahren einfach aufgegeben worden ist.

Literatur

Baumann, A. und K. Wohlrabe (2020a): “Where Have All the Working Papers Gone? Evidence from Four Major Economics Working Paper Series“, Scientometrics, im Erscheinen.

Baumann, A. und K. Wohlrabe (2020b): “Where Have All the Working Papers Gone? Evidence from Four Major Economics Working Paper Series“, CESifo Working Paper 8328.

Bornmann, L., A. Butz und K. Wohlrabe (2018): "What are the top five journals in economics? A new meta-ranking", Applied Economics, 50(6), 659-675.

Seiler, C. und K. Wohlrabe (2012): “Ranking economists on the basis of many indicators: An alternative approach using RePEc data”, Journal of Informetrics, 6(3), 389-402.