Erhöht die Veröffentlichung als Working Paper zukünftige Zitierungen von Forschungsartikeln?

In der Volkswirtschaftslehre spielen Working Papers eine wichtige Rolle in der Kommunikation unter WissenschaftlerInnen. Einer der ersten Working-Paper-Reihen ist die Cowles Working Paper Series, welche 1955 gegründet wurde. Seitdem sind immer mehr hinzugekommen. Insbesondere in den letzten 30 Jahren gab es ein starkes Wachstum. Gegenwärtig (Januar 2021) sind über 5000 Reihen auf der Webseite RePEc (Research Papers in Economics) gelistet. Working Paper unterliegen gewöhnlich keinem formalen Peer-Review-Prozess, welcher bei Fachzeitschriften üblich ist. Es gibt verschiedene Gründe, warum ein Artikel vor oder während der Einreichung bei einer Zeitschrift als Working Paper (auch Diskussionspapier oder Preprint) veröffentlicht wird. Zum einen können andere WissenschaftlerInnen Feedback zum aktuellen Stand des Artikels geben. Zum anderen ist Wissenschaft auch ein Wettlauf oder Wettbewerb der Ideen. Eine frühzeitige Veröffentlichung ist somit auch ein Signal an die Öffentlichkeit und andere WissenschaftlerInnen.

Zitierungen sind ein wichtiges Kriterium für langfristige Bewertung eines Artikels. Neben der Qualität gibt es unzählige Faktoren, die die Gesamtzahl der Zitierungen beeinflussen (vgl. Bornmann et al. 2018). Aber hilft es, wenn ein Artikel vorher als Working Paper zirkulierte? Wir beantworten die Frage mit einem klaren Ja.[ 1 ] Warum kann dies der Fall sein? Die potenzielle Anzahl der LeserInnen ist höher, da Working Paper meist frei im Internet verfügbar sind, im Gegensatz zu Artikeln, welche oft nur gegen Gebühr oder über eine Bibliothek zugänglich sind. Darüber hinaus ist die formale Hürde für eine Publikation oft niedriger, da es meist kein Peer-Review-Verfahren gibt. Die zeitnahe Veröffentlichung zusammen mit der Kommentierung anderer WissenschaftlerInnen kann die Qualität des Artikels erhöhen, welche dann die Chancen einer Veröffentlichung in einer höher gerankten Zeitschrift verbessert. Eine Folge dessen sind potenziell mehr Zitierungen (vgl. Bornmann et al. 2018).

Für andere Fachbereiche wurde die vorliegende Fragestellung bereits untersucht. So zeigen z.B. Sarabipour et al. (2019), Fraser et al. (2019), oder Fu und Hughey (2019) für die Biologie, dass Artikel in Fachzeitschriften, welche vorher auch als Preprints verfügbar waren, öfter zitiert werden, als solche für die dies nicht gilt.

Daten

Für unsere Analyse berücksichtigen wir alle Artikel der sogenannten Top 5 Zeitschriften (Bornmann et al. 2018, Card und DellaVigna 2013) in der Volkswirtschaftslehre die zwischen 2000 und 2010 veröffentlicht worden sind.[ 2 ] Bei den Zeitschriften handelt es sich um das Quarterly Journal of Economics (QJE), Econometrica, Journal of Political Economy (JPE), American Economic Review (AER) und Review of Economic Studies (ReStud). Artikel nach 2010 wurden nicht berücksichtigt, um dem Umstand Rechnung zu tragen, dass Artikel eine gewisse Zeit brauchen, um Zitierungen zu sammeln. Insgesamt besteht der Datensatz zunächst aus 3.167 Artikeln. Mit Hilfe der RePEc-Webseite (Zimmermann 2013) wurde geprüft, ob es jeweils eine Working Paper Version gibt. Die Zitierungen wurden von der CitEc Datenbank bezogen, die Zitationsdatenbank von RePEc. Für rund 55% aller Artikel wurde ein entsprechendes Working Paper gefunden (vgl. auch Baumann und Wohlrabe 2020). Ein wichtiger Faktor für die Zitierung eines Artikels ist die Reputation der AutorInnen (Birkmaier und Wohlrabe 2014). In unserem Fall messen wir die Reputation über die Gesamtzitationen für die AutorInnen in der CitEc-Datenbank. AutorInnen müssen in der RePEc-Datenbank registriert sein, um in der Citec-Datenbank gelistet zu sein. Für 2434 Artikel konnten wir mindestens einen Autor oder eine Autorin finden. Für mehrere AutorInnen wurde der Durchschnitt gebildet. Unsere Reputationsvariable pro Artikel ist dieser Durchschnitt minus die Zitationen des Artikels.

Methodik

Um statistisch valide Ergebnisse zu bekommen, ob Working Paper die Zitierungen von Fachartikeln erhöhen, wird folgendes Regressionsmodell geschätzt:

Wobei  die Zitierungen von Artikel i darstellt. Im Zentrum der Analyse steht der Parameter, welcher den Einfluss der Working Paper Version misst. WP ist eine Dummy-Variable, welche den Wert 1 annimmt, wenn ein Artikel auch als Working Paper vorliegt und 0 wenn nicht. Der Vektor X enthält alle Variablen, welche ebenfalls die Zitierungen eines Artikels erklären (Tahamtan and Bornmann 2018). In unserem Fall sind dies die Anzahl der AutorInnen, die Seitenanzahl und die Reputation der AutorInnen. Die Variable  deckt Zeit- und Zeitschrifteneffekte und deren Kombination ab. Obige Gleichung schätzen wir in vier verschiedenen Varianten:

1. Einfache Kleinste-Quadrate-Schätzung (Ordinary Least Squares, OLS)
2. Eine OLS-Schätzung wobei die Zitierungen logarithmierter Form als abhängige Variable dienen. Der Logarithmus mildert die bereits erwähnte schiefe Verteilung der Zitierungen.
3. Ein Negativ-Binomial-Modell (NBR), wo die Zitierungen als Zählvariable interpretiert werden.
4. Eine OLS-Schätzung, wobei die Zitierungen wie folgt transformiert werden: . Diese sogenannte IHS-Transformation, welche auch die Schiefe der Zitierungsverteilung berücksichtigt, geht auf Burbidge et al. (1988) zurück.

Die vier Varianten sollen die Robustheit der Ergebnisse sowohl mit Blick auf die Schätzmethode als auch mit der Verwendung der abhängigen Variablen sicherstellen.

Ergebnisse

Die Regressionsergebnisse sind in Tabelle 1 dargestellt. Artikel, die auch in einer Working Paper Serie erscheinen haben signifikant mehr Zitationen als Artikel ohne Working Papers in allen Varianten.  Die OLS Regression suggeriert etwa 30 zusätzliche Zitationen, während die Koeffizienten der anderen drei Varianten eine Erhöhung der Zitationen von etwa 25% bedeuten, wenn es ein Working Paper zur Studie gibt.[ 3 ] Die Koeffizienten der Kontrollvariablen haben die zu erwartenden Vorzeichen und sind signifikant (vgl. auch Tahamtan und Bornmann 2018). So erhalten längere Artikel mit mehr und bekannteren AutorInnen signifikant mehr Zitate.

Gelten die Ergebnisse auch für die einzelnen Zeitschriften? Die Antwort gibt Tabelle 2. Um Platz zu sparen, ist nur die Dummy-Variable aufgezeigt. Die Schätzungen zeigen auf, dass der Effekt signifikant ist, außer in den OLS Regressionen in der ersten Spalte und für Econometrica. Die Koeffizienten haben eine ähnliche Grösse, wie die Koeffizienten in Tabelle 1. Ein Artikel mit Working Paper hat somit 20%-40% mehr Zitationen erhalten, wobei ein Econometrica-Artikel am wenigsten zusätzliche Zitationen erhält und ein JPE-Artikel am meisten.

Wohlrabe und Bürgi (2021) führen noch einige Robustheitsanalysen durch und zeigen, dass die Ergebnisse in jedem Fall statistisch signifikant bleiben.

Literatur

Baumann, A. and Wohlrabe, K. (2020): „Where have all the working papers gone? Evidence from four major economics working paper series” Scientometrics 124, 2433-2441.

Birkmaier, D., and K. Wohlrabe (2014): “The Matthew E?ect in Economics Reconsidered”, Journal of Informetrics 8(4), 880–889.

Bornmann, L., A. Butz, and K. Wohlrabe (2018): “What are the Top FivE Journals in Economics? A New Meta-ranking.” Applied Economics 50 (6), 659–675.

Burbidge, J. B., L. Magee, and A. L. Robb (1988): “Alternative Transformations to Handle Extreme Values of the Dependent Variable”, Journal of the American Statistical Association 83(401), 123–127.

Card, D., and S. DellaVigna (2013): “Nine Facts about Top Journals in Economics.” Journal of Economic Literature 51(1), 144–161.

Fraser, N., F. Momeni, P. Mayr, und I. Peters (2019): “The E?ect of Biorxiv Preprints on Citations and Altmetrics”, bioRxiv, 673665.

Fu, D. Y., und J. J. Hughey (2019): “Releasing a Preprint Is Associated with More Attention and Citations for the Peer-reviewed Article”, Elife 8: e52646.

Sarabipour, S., H. J. Debat, E. Emmott, S. J. Burgess, B. Schwessinger, und Z. Hensel (2019): “On the Value of Preprints: An Early Career Researcher Perspective.” PLoS Biology 17 (2), e3000151.

Wohlrabe, K. and Bürgi, C. (2020): „Do working papers increase journal citations? Evidence from the top 5 journals in economics”, CESifo Working Paper 8643.

Wohlrabe, K. and Bürgi, C. (2021): „Do working papers increase journal citations? Evidence from the top 5 journals in economics”, Applied Economics Letters, im Erscheinen.

Zimmermann, C. (2013): “Academic rankings with RePEc,” Econometrics, 1(3), 249-280.

1  Die folgenden Ergebnisse auf den Analysen in Wohlrabe und Burgi (2020, 2021).
2  Die Papers and Proceedings vom American Economic Review wurden in der Analyse nicht berücksichtigt.
3  Um die 25% zu erhalten, müssen die Koeffizienten exponenziert werden.

©KOF ETH Zürich, 19. Feb. 2021