Qualitätsmaẞe zur Evaluierung medizinischer Forschung (QuaMedFo)

In diesem Open-Access-Sammelband werden verschiedene Leistungsdimensionen und Datenzugänge für die Abbildung medizinischer Forschung empirisch dargestellt und diskutiert. Leitfragen sind dabei: Wie identifizieren wir Qualität in der medizinischen Forschung? Unter welchen Bedingungen lassen sich medizinische Themen bestmöglich beforschen, um das Patientenwohl und die öffentliche Gesundheit zu fördern sowie Wissenschaft und Gesellschaft voranzubringen?

Das Verbundprojekt „Qualitätsmaße zur Evaluation medizinischer Forschung“ (QuaMedFo, 2019–2022) war der Ausgangspunkt für den vorliegenden Sammelband "Qualitätsmessung als Prisma", welcher verschiedene Perspektiven auf die Evaluation medizinischer Forschung in Deutschland versammelt. Dieser Beitrag enthält eine Beschreibung des Projekts QuaMedFo und eine Einordnung in den allgemeinen Stand der Forschung sowie die aktuelle Diskussion zum Thema datengestützte Bestandsaufnahmen und Forschungsevaluationen. Am Beispiel der medizinischen Forschung und bestehender Evaluationspraxen im deutschen Wissenschaftssystem werden strukturelle, methodische und praktische Herausforderungen bei Entwicklung adäquater Bewertungsinstrumente skizziert.

Das Verbundprojekt QuaMedFo widmete sich insbesondere der Erforschung der praktischen Verwendung und Eignung von verschiedenen, in Evaluationskontexten der deutschen medizinischen Fakultäten und Universitätskliniken verwendeten Indikatoren. Dabei wählte das Projekt einen forschungsinformationsbasierten Ansatz, der verschiedene Daten bzw. Datenzugänge analysierte und ihre methodisch-theoretische wie auch praktische Nutzbarkeit für verschiedene Anwendungskontexte überprüfte. Dieser Beitrag fasst die zentralen Ergebnisse von QuaMedFo zusammen, beschreibt die Herausforderungen für die Evaluation medizinischer Forschung und formuliert Erkenntnisse und Empfehlungen für die zukünftige Evaluierungspraxis.

Medizinische Fakultäten in Deutschland müssen ihre strategischen Kalkulationen auf mehrere Wettbewerbe beziehen. Der vorliegende Beitrag greift die intra-fakultäre Perspektive heraus und versteht die Sicherstellung von Effizienz als zentrale Aufgabe des Controllings durch Dekanate. Empirisch wird untersucht, ob an die an den Fakultäten gehaltenen Daten für die Betrachtung von Effizienz geeignet sind. Die Voraussetzungen der Effizienzmessung werden dafür als Modellannahmen für die lineare Regression verstanden und exemplarisch diskutiert. Neben den etablierten Variablen wissenschaftliche Beschäftigte (Input) und Publikationen (Output), werden jüngst auch Drittmittel sowohl als Input- als auch als Outputvariablen vorgeschlagen.

Im Rahmen des QuaMedFo-Verbunds wurden Ansätze und Indikatoren zur Abbildung medizinischer Forschung(sleistungen) geprüft und entwickelt. In insgesamt vier Teilprojekten und über sieben Modulen wurden verschiedene Datenzugänge in Hinblick auf ihre Eignung zur Indikatorenbildung sowie zur praktischen Verwendung in Evaluationskontexten geprüft. Die regelmäßige Rückkopplung der Zwischenstände mit Vertreter*innen verschiedener medizinischer Fachcommunities diente der Auslotung der Nutzungsmöglichkeiten der Projektergebnisse innerhalb bestehender Steuerungsinstrumente (wie etwa der leistungsorientierten Mittelvergabe) und darüber hinaus.

Die Befragung wissenschaftlicher und administrativer Beschäftigter an medizinischen Fakultäten in Deutschland war Teil des Moduls 7 „Praktikabilität, Akzeptanz und Verhaltenswirksamkeit“ im Verbundprojekt „Qualitätsmaße zur Evaluierung medizinischer Forschung“ (QuaMedFo). Sie wurde in enger Zusammenarbeit des Deutschen Zentrums für Hochschul- und Wissenschaftsforschung (DZHW) und der Universitätsmedizin Göttingen (UMG) im ersten Halbjahr 2021 geplant und durchgeführt. Die Datenaufbereitung wurde im zweiten Halbjahr 2021 abgeschlossen. Von den über verschiedene Verteiler erreichten 1.591 TeilnehmerInnen wurden schließlich 516 Rückmeldungen im Analysedatensatz berücksichtigt. https://doi.org/10.21249/DZHW:qmf2021:1.0.

Efficiency measures as indicators for research excellence are less prominent than productivity measures (aka publication counts) and reception measures (aka citation counts), yet they are frequently discussed [...]. For some years now, practitioners and policy makers have discussed including third-party funding data [...] into efficiency measurement – either as input (income, spending) or as output (grants), which leads to the research question of this contribution: Can third-party funding data reasonably be included in efficiency measurement without violating the assumptions of linear models? And which type of TPF count (income, spending, grants) would be most suitable as input or output variable respectively?

The evaluation of medical research performance is key for scientists’ careers. The Journal Impact Factor does not appropriately measure research impact. One contribution to a modified multidimensional evaluation system can be an author’s impact on guideline work. The objective of this contribution is to analyse the impact of medical scientists on clinical guidelines taking authors of oncological guidelines as example.

Exzellente Forschung muss finanziert sein - wie jedoch die Mittelverfügbarkeit auf den messbaren Publikationsoutput wirkt, ist bisher nicht geklärt. Für das Projekt QuaMedFo haben wir Korrelationen zwischen Input und Output an den Pilotfakultäten untersucht. Die größte Herausforderung dabei war die inhomogene Datenlage, welche jedoch bewältigt werden konnte und in Empfehlungen zu einem Minimaldatensatz mündet. Empirisch zeigte sich darüber hinaus, dass die Unterschiede zwischen den medizinischen Fächern ebenso wie zwischen den Fakultäten die Auswirkungen der unterschiedlichen Mittelverfügbarkeiten bei weitem übersteigen.

Die Medizin hat eine hohe Affinität zu quantitativen Verfahren der Leistungsbewertung und der Nutzung dieser Metriken zu Entscheidungs-, Steuerungs- und Bewertungsprozessen. Aufgrund ihrer Fokussierung auf bibliometrische und drittmittelbezogene Indikatoren stehen viele dieser Verfahren in der Kritik. Im Rahmen des QuaMedFo-Verbunds (BMBF-Projektförderung, Förderlinie „Quantitative Wissenschaftsforschung“, Laufzeit: 01.01.2019 – 30.06.2022) werden daher verschiedene Indikatoren zur Abbildung medizinischer Forschung(sleistungen) entwickelt und bewertet. Die Veranstaltung dient der Vorstellung und Diskussion der Projektergebnisse mit der Community (Vertreter*innen medizinischer Fakultäten und Fachgesellschaften sowie Forschende).