Menü

Neue Daten, neues Wissen? Infrastrukturen der Leistungsbewertung in der Wissenschaft (NEDA)

Projektbeginn: 01.11.2020 - Projektende: 31.10.2023

Die BMBF-geförderte Nachwuchsgruppe untersucht in Kooperation mit der Berlin-Brandenburgische Akademie der Wissenschaften (BBAW) die zunehmenden technischen Möglichkeiten der Datenerhebung und -auswertung von wissenschaftlicher Leistung und ihre Folgen für das Verständnis von wissenschaftlicher Praxis.

Forschungsinformation und damit verbundene Leistungsmessung sind ein wichtiger Faktor im Diskurs über Qualitätssicherung in der Wissenschaft. Die Generierung von empirisch gesichertem Wissen über Forschungsleistung ist jedoch voraussetzungsvoll. Genutzt werden dazu zunehmend technische Infrastrukturen – vor allem von kommerziellen Anbietern –, die vorliegende Daten in Datenbanken aufbereiten und Instrumente zur Verfügung stellen, die daraus steuerungsrelevantes Wissen generieren sollen.

Im Mittelpunkt des Projekts steht die Entwicklung dieser „research analytics“. Es geht der Frage nach, welche Daten hier auf welche Weise zur Nutzung bereitgestellt werden und welches Verständnis von wissenschaftlicher Praxis sich auf diese Weise in den kontinuierlich weiterentwickelten technischen Infrastrukturen der Datenerhebung und -auswertung zeigt.

Das Projekt geht dabei über eine Kritik des Aufbaus und Einsatzes von bibliometrischen Datenbanken und ihrer Indikatorik hinaus. Es nimmt stattdessen die technischen Infrastrukturen der wissenschaftlichen Leistungsmessung als Ganzes in den Blick und fragt danach, wie die Datenerhebungs- und -nutzungsinfrastrukturen mitgestalten, was als wissenschaftliche Leistung beobachtet und bewertet werden kann.

Das Projekt erfolgt in einem qualitativ und einem quantitativ ausgerichteten Teilprojekt. In dem quantitativ ausgerichteten Teilprojekt am Deutschen Zentrum für Hochschul- und Wissenschaftsforschung wird aufbauend auf der Infrastruktur des Kompetenzzentrums Bibliometrie mittels bibliometrischer Analysen untersucht, wie und worin sich die Infrastrukturen unterschiedlicher Anbieter in ihren Aussagen über wissenschaftliche Leistung unterscheiden.

In dem qualitativ ausgerichteten Teilprojekt an der Berlin-Brandenburgische Akademie der Wissenschaften liegt der Fokus auf der Nutzerorientierung der Anbieter dieser Infrastrukturen, indem sowohl nach den angebotenen Nutzungsmöglichkeiten als auch nach den angestrebten Nutzer*innen gefragt wird. Zusammengenommen ist es das Ziel des Projekts, die Annahmen, die in den Datenbanken und entsprechenden Nutzungsinstrumenten über das angelegt sind, was wissenschaftliche Leistung darstellt, zu untersuchen.

Mehr erfahren Weniger anzeigen
Publikationen

On the performativity of SDG classifications in large bibliometric databases.

Ottaviani, M., & Stahlschmidt, S. (2024). On the performativity of SDG classifications in large bibliometric databases. ArXiv (online first). https://doi.org/10.48550/arXiv.2405.03007
Abstract

This work proposes using the feature of large language models (LLMs) to learn about the "data bias" injected by diverse SDG classifications into bibliometric data by exploring five SDGs. We build a LLM that is fine-tuned in parallel by the diverse SDG classifications inscribed into the databases' SDG classifications. Our results show high sensitivity in model architecture, classified publications, fine-tuning process and natural language generation. The wide arbitrariness at different levels raises concerns about using LLM in research practice.

The State of Unpaywall: Analyzing the Consistency of Open Access Data.

Sanford, H. (2022). The State of Unpaywall: Analyzing the Consistency of Open Access Data. Proceedings 26th International Conference on Science, Technology and Innovation Indicators (STI 2022).

From indexation policies through citation networks to normalized citation impacts: Web of Science, Scopus, and Dimensions as varying resonance chambers.

Stahlschmidt, S., & Stephen, D. (2022). From indexation policies through citation networks to normalized citation impacts: Web of Science, Scopus, and Dimensions as varying resonance chambers. Scientometrics, 2022(127), 2413-2431. https://doi.org/10.1007/s11192-022-04309-6

From indexation policies through citation networks to normalized citation impacts: Web of Science, Scopus, and Dimensions as varying resonance chambers.

Stahlschmidt, S., & Stephen, D. (2021). From indexation policies through citation networks to normalized citation impacts: Web of Science, Scopus, and Dimensions as varying resonance chambers. Ithaca: arXiv.
Vorträge

Neue Daten, neues Wissen? Infrastrukturen der Leistungsbewertung in der Wissenschaft (NeDa).

Stephen, D. (2023, Oktober). Neue Daten, neues Wissen? Infrastrukturen der Leistungsbewertung in der Wissenschaft (NeDa). Vortrag auf dem Workshop Abschlusstagung der BMBF-Förderlinie Qualitätsentwicklung(en) in der Wissenschaft, Dortmund.

On the performativity of SDG classifications in large bibliometric databases.

Ottaviani, M., & Stahlschmidt, S. (2023, Oktober). On the performativity of SDG classifications in large bibliometric databases. Poster auf der Konferenz Nordic Workshop on Bibliometrics and Research Policy, Gothenburg, Sweden.
Abstract

Large bibliometric databases, such as Web of Science, Scopus and Dimensions, are performative and affect the visibility of scientific outputs and impact measurement. However, these databases do not match the UN's SDGs classifications. This work proposes using large language models (LLM) to learn about data bias injected by diverse SDG classifications. The results show high sensitivity to diverse classifications in model architecture, classified publications, fine-tuning process and natural language generation. The wide arbitrariness raises ethical concerns. Qualitative text analyses can help inform science policy on diverse SDG classifications.

The State of Unpaywall: Analyzing the Consistency of Open Access Data.

Sanford, H. (2022, September). The State of Unpaywall: Analyzing the Consistency of Open Access Data. Vortrag auf der Konferenz 26th International Conference on Science, Technology and Innovation Indicators (STI 2022), Universidad de Granada, Granada, Spanien.

Szientometrie als Gegenstand von Wissenschaftsforschung.

Stahlschmidt, S. (2022, Juli). Teilnahme an der Podiumsdiskussion Szientometrie als Gegenstand von Wissenschaftsforschung auf dem Symposium Wissenschaftsforschung im Fokus - Potentiale und neue Perspektiven, VolkswagenStiftung, Hannover.

Challenges for bibliometrics in the era of Open Science and non-academic impact assessment.

Stahlschmidt, S. (2022, Juni). Teilnahme an der Podiumsdiskussion Challenges for bibliometrics in the era of Open Science and non-academic impact assessment Frontiers of the Evaluation. Workshop in Honour of the Memory of Henk F. Moed, Sapienza University, European Summer School for Scientometrics, Rome, Italy.

Performativity of PIDs: Observing or shaping research?

Stahlschmidt, S., & Krüger, A. (2020, Januar).
Performativity of PIDs: Observing or shaping research? Vortrag auf der PIDapalooza 2020, 29.-30.01.2020, Lissabon, Portugal.

Ansprechperson

Stephan Stahlschmidt
Dr. Stephan Stahlschmidt 030 2064177-18

Externe Ansprechpartner*innen

Dr. Anne K. Krüger

Kooperationspartner

Berlin-Brandenburgische Akademie der Wissenschaften

Gefördert von

Bundesministerium für Bildung und Forschung