Dr. Stephan Stahlschmidt

In einer Studie des BMBF untersucht ein Bieterkonsortium aus JOANNEUM RESEARCH, dem Zentrum für Soziale Innovation (ZSI) sowie dem Deutschen Zentrum für Hochschul- und Wissenschaftsforschung (DZHW) die Beteiligung deutscher Forscherinnen und Forscher an den EU-Rahmenprogrammen und aktuelle Trends der europäischen Forschungs- und Innovationsförderung. Dazu wurden sowohl Daten der ECORDA-Datenbank der Europäischen Kommission ausgewertet als auch Onlinebefragungen mit Teilnehmerinnen und Teilnehmern aus Horizont 2020 und Horizont Europa und leitfadengestützte Interviews durchgeführt.

This work proposes using the feature of large language models (LLMs) to learn about the "data bias" injected by diverse SDG classifications into bibliometric data by exploring five SDGs. We build a LLM that is fine-tuned in parallel by the diverse SDG classifications inscribed into the databases' SDG classifications. Our results show high sensitivity in model architecture, classified publications, fine-tuning process and natural language generation. The wide arbitrariness at different levels raises concerns about using LLM in research practice.

Die vorliegende Studie entstand im Auftrag der Deutschen Forschungsgemeinschaft (DFG) und wurde durch das Deutsche Zentrum für Hochschul- und Wissenschaftsforschung (DZHW) und das Forschungszentrum Jülich (FZJ) gemeinschaftlich durchgeführt. Ausgehend von den DFG-Vorgaben wurde der Indikator Funding-Acknowledgement-Güte (FA-Güte) entwickelt. Anhand von drei Güteklassen (regelkonforme Nennung, nicht regelkonforme Nennung und keine Nennung) misst er für jede Publikation, inwiefern die Geförderten den DFG-Vorgaben nachgekommen sind.