Menu

Quality measures for the evaluation of biomedical research (QuaMedFo)

Start of the project: 2019-Jan-01 - End of the project: 2022-Jun-30

There is open-mindedness in the biomedical sciences in Germany towards quantitative methods of performance evaluation and the use of metrics for decision making, steering and assessments. Yet many of the evaluation instruments currently in use are criticized because of their sole reliance on bibliometric and funding indicators as well as their biased incentives for scientists.

In this context, QuaMedFo seeks to develop and analyse a wide and balanced range of (potential) indicators to represent biomedical research activities and scholarly performance. The joint research project analyses different data sources with regard to their indicator suitability and practical usability in different evaluation contexts. DZHW coordinates the project, develops bibliometric indicators and analyses input-output relations based on institutional research information in the RCD standard format (RCD: Research Core Dataset). ZB MED carries out text-mining and patent analyses, ZBW focuses on social media and altmetrics analyses, UMG communicates with the project’s medical pilot faculties, analyses clinical practice guidelines, biomedical congresses as well as replication studies and evaluates the practicability of different data sources and indicators developed in the project.

The project is structured in work packages, each with a different focus: “Coverage analysis of biomedical publications”, “Citation-based impact analyses”, “Content classification of biomedical publications”, “RCD-based input-output analyses”, “Translational medicine, transfer and replication”, “Social media and altmetrics” and “Practicability and acceptance”.

The project is of theoretical and practical value for the ongoing debate on the evaluation of scientific performance in different contexts and for different purposes. In addition, the project results may be used to improve research information systems and performance-based funding systems. Finally, they may also open up avenues for the further development of the RCD standard.

Programme: Quantitative Wissenschaftsforschung

Grant number: 01PU17011A

Show more Show less
Publications

Qualitätsmessung als Prisma.

Biesenbender, S., & Hartstein, J. (Hrsg.) (2024).
Qualitätsmessung als Prisma.Forschungsevaluation in der Medizin. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-43683-4

Dimensionen und Qualitätsmaße zur Evaluation medizinischer Forschung – Kontext und Ansätze des Projekts QuaMedFo.

Biesenbender, S. (2024).
Dimensionen und Qualitätsmaße zur Evaluation medizinischer Forschung – Kontext und Ansätze des Projekts QuaMedFo. In S. Biesenbender & J. Hartstein (Hrsg.), Qualitätsmessung als Prisma (S. 19-42). Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-43683-4_2

Qualitätsmaße zur Evaluierung medizinischer Forschung – Erkenntnisse und Empfehlungen aus dem Projekt QuaMedFo.

Peters, I., & Biesenbender, S. (2024).
Qualitätsmaße zur Evaluierung medizinischer Forschung – Erkenntnisse und Empfehlungen aus dem Projekt QuaMedFo. In S. Biesenbender & J. Hartstein (Hrsg.), Qualitätsmessung als Prisma (S. 129-141). Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-43683-4_8

Input-Output-Relationen – Zu den Voraussetzungen einer Effizienzmessung medizinischer Fakultäten anhand von Drittmitteln.

Hartstein, J. (2024).
Input-Output-Relationen – Zu den Voraussetzungen einer Effizienzmessung medizinischer Fakultäten anhand von Drittmitteln. In S. Biesenbender & J. Hartstein (Hrsg.), Qualitätsmessung als Prisma (S. 109-127). Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-43683-4_7

Publikations- und Rezeptionsanalyse von drei medizinischen Fakultäten unter Berücksichtigung der LOM.

Aman, V. (2024).
Publikations- und Rezeptionsanalyse von drei medizinischen Fakultäten unter Berücksichtigung der LOM. In S. Biesenbender & J. Hartstein (Hrsg.), Qualitätsmessung als Prisma. Forschungsevaluation in der Medizin (S. 43-63). Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-43683-4_3

Welche Charakteristika weist die in Leitlinien zitierte Literatur auf? – Eine Fallstudie anhand einer S2e- und einer S3-Leitlinie.

Traylor, C., & Aman, V. (2024).
Welche Charakteristika weist die in Leitlinien zitierte Literatur auf? – Eine Fallstudie anhand einer S2e- und einer S3-Leitlinie. In S. Biesenbender & J. Hartstein (Hrsg.), Qualitätsmessung als Prisma. Forschungsevaluation in der Medizin (S. 85-95). Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-43683-4_5

Authorship regulations in performance-based funding systems and publication behaviour – A case study of German medical faculties.

Aman, V., & van den Besselaar, P. (2024).
Authorship regulations in performance-based funding systems and publication behaviour – A case study of German medical faculties. Journal of Informetrics, 18(2) (online first). https://doi.org/10.1016/j.joi.2024.101500

QuaMedFo - Qualitätsmaße zur Evaluierung medizinischer Forschung: Projektbericht.

Biesenbender, S. (2023).
QuaMedFo - Qualitätsmaße zur Evaluierung medizinischer Forschung: Projektbericht. Hannover: DZHW. https://doi.org/10.2314/KXP:1871786746

Methodenbericht zur Befragung von wissenschaftlichen und administrativen Beschäftigten an medizinischen Fakultäten im Projekt QuaMedFo (Qualitätsmaße zur Evaluierung medizinischer Forschung).

Biesenbender, S., Hartstein, J., Herrmann-Lingen, C., Kratzenberg, A., & Traylor, C. (2022).
Methodenbericht zur Befragung von wissenschaftlichen und administrativen Beschäftigten an medizinischen Fakultäten im Projekt QuaMedFo (Qualitätsmaße zur Evaluierung medizinischer Forschung). Hannover: DZHW. https://doi.org/10.21249/DZHW:qmf2021-dmr:1.0.0
Abstract

The survey of scientific and administrative employees at medical faculties in Germany is part of module 7 „Praktikabilität, Akzeptanz und Verhaltenswirksamkeit“ in the collaborative project „Qualitätsmaße zur Evaluierung medizinischer Forschung“ (QuaMedFo). It was planned and conducted in close cooperation of the German Center for Higher Education Research and Science Studies (DZHW) and the Universitätsmedizin Göttingen (UMG) in the first half of 2021. Data preparation was completed in the second half of 2021. https://doi.org/10.21249/DZHW:qmf2021:1.0.0

Do authorship regulations in performance-based funding systems affect authorship practices? A case study of German medical faculties.

Aman, V. (2022).
Do authorship regulations in performance-based funding systems affect authorship practices? A case study of German medical faculties. 26th International Conference on Science, Technology and Innovation Indicators (STI 2022). https://doi.org/10.5281/zenodo.6912639

Praxistaugliche und in der Community akzeptierte Verfahren der Evaluation medizinischer Forschung.

Biesenbender, S. (2021).
Praxistaugliche und in der Community akzeptierte Verfahren der Evaluation medizinischer Forschung. Webseite Wiho-Portal: BMBF.
Presentations

Quality Measurement as a Prism - Research Evaluation of German Medical Faculties.

Hartstein, J., & Biesenbender, S. (2023, Dezember).
Quality Measurement as a Prism - Research Evaluation of German Medical Faculties. Vortrag auf der Konferenz (Re)designing quality indicators for higher education, HESPRI.

Third-party funding data for research evaluation – On assumptions for efficiency measures with data from medical faculties in Germany.

Hartstein, J. (2023, Oktober).
Third-party funding data for research evaluation – On assumptions for efficiency measures with data from medical faculties in Germany. Poster auf der Konferenz The Future of Higher Education and Science, Leibniz Center for Social Sciences, Leibniz-Universität Hannover & German Centre for Higher Education Research and Science Studies (DZHW), Hannover.
Abstract

Efficiency measures as indicators for research excellence are less prominent than productivity measures (aka publication counts) and reception measures (aka citation counts), yet they are frequently discussed [...]. For some years now, practitioners and policy makers have discussed including third-party funding data [...] into efficiency measurement – either as input (income, spending) or as output (grants), which leads to the research question of this contribution: Can third-party funding data reasonably be included in efficiency measurement without violating the assumptions of linear models? And which type of TPF count (income, spending, grants) would be most suitable as input or output variable respectively?

Measuring research impact of authors on guideline work - a pilot analysis.

Nothaker, M., Wenzel, G., Langer, T., Aman, V., Biesenbender, S., ... & Kopp, I. (2023, September).
Measuring research impact of authors on guideline work - a pilot analysis. Vortrag im Rahmen der GIN 2023 Hybrid Conference "Maintaining quality while pursuing efficiency", Guidelines International Network (GIN), Glasgow, United Kingdom.
Abstract

The evaluation of medical research performance is key for scientists’ careers. The Journal Impact Factor does not appropriately measure research impact. One contribution to a modified multidimensional evaluation system can be an author’s impact on guideline work. The objective of this contribution is to analyse the impact of medical scientists on clinical guidelines taking authors of oncological guidelines as example.

Projekt QuaMedFo − Qualitätsmaße zur Evaluierung medizinischer Forschung: Ergebnisse und Ausblick.

Aman, V., Biesenbender, S., Hartstein, J., Lemke, S., Lippert, K., & Traylor, C. (2022, November).
Projekt QuaMedFo − Qualitätsmaße zur Evaluierung medizinischer Forschung: Ergebnisse und Ausblick. Vortrag im Rahmen der Abschlusstagung der BMBF-Förderlinie „Quantitative Wissenschaftsforschung“, VDI|VDE|IT.

Performance-based funding systems at German medical faculties.

Aman, V. (2022, September).
Performance-based funding systems at German medical faculties. Vortrag auf der Summer School European Summer School of Scientometrics 2022 (esss2022), Berlin.

Projekt QuaMedFo − Qualitätsmaße zur Evaluierung medizinischer Forschung: Erfahrungen, Ergebnisse und Ausblick.

Biesenbender, S., Aman, V., & Hartstein, J. (2022, September).
Projekt QuaMedFo − Qualitätsmaße zur Evaluierung medizinischer Forschung: Erfahrungen, Ergebnisse und Ausblick. Vortrag im Rahmen des Kolloquiums des DZHW Berlin, DZHW, Berlin.

Do authorship regulations in performance-based funding systems affect authorship practices? A case study of German medical faculties.

Aman, V. (2022, September).
Do authorship regulations in performance-based funding systems affect authorship practices? A case study of German medical faculties. Vortrag auf der Konferenz 26th International Conference on Science, Technology and Innovation Indicators (STI 2022), Granada, Spain.

Methodische Notizen zu Input-Output-Analysen - Datenlage an den Fakultäten, Berechnungsbeispiele, Empfehlungen und Perspektiven.

Hartstein, J. (2022, Mai).
Methodische Notizen zu Input-Output-Analysen - Datenlage an den Fakultäten, Berechnungsbeispiele, Empfehlungen und Perspektiven. Vortrag auf dem Workshop "Was bestimmt den Impact medizinischer Forschung?" - Abschlussveranstaltung im Projekt QuaMedFo, Universitätsmedizin Göttingen (UMG), Deutsches Zentrum für Hochschul- und Wissenschaftsforschung (DZHW), Leibniz-Informationszentrum Wirtschaft (ZBW), Informationszentrum Lebenswissenschaften (ZB MED), Göttingen/online.

Bewertung von Publikationen in der LOM-Forschung-Gemeinsamkeiten und Unterschiede an Medizinischen Fakultäten.

Aman, V. (2022, Mai).
Bewertung von Publikationen in der LOM-Forschung-Gemeinsamkeiten und Unterschiede an Medizinischen Fakultäten. Vortrag im Rahmen der Abschlussveranstaltung des Projektverbunds „QuaMedFo“, Göttingen/online.

Ansätze, Methoden und Grenzen des Projekts QuaMedFo.

Biesenbender, S. (2022, Mai).
Ansätze, Methoden und Grenzen des Projekts QuaMedFo. Vortrag im Rahmen der Abschlussveranstaltung des Projektverbunds „QuaMedFo“: Was bestimmt den Impact medizinischer Forschung?, Verbund QuaMedFo, Göttingen/online.

Projekt „QuaMedFo“ – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S. (2022, März).
Projekt „QuaMedFo“ – Qualitätsmaße zur Evaluierung medizinischer Forschung. Vortrag im Rahmen des Workshops der Schreibgruppe LOM Forschung des Medizinischen Fakultätentags (MFT).

Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S., Herrmann-Lingen, C., Förstner, K., & Peters, I. (2020).
Workshop Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung, Online-Veranstaltung an der Universitätsmedizin Mannheim.

Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S., Herrmann-Lingen, C., Förstner, K., & Peters, I. (2020).
Workshop Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung, Online-Veranstaltung an der Universitätsmedizin Göttingen.

Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S., Herrmann-Lingen, C., Förstner, K., & Peters, I. (2020).
Workshop Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung, Online-Veranstaltung am Universitätsklinikum Hamburg-Eppendorf.

Effekte von Autorschaftsregelungen auf die Leistungsorientierte Mittelvergabe in der Medizin.

Aman, V. (2020, Juli).
Effekte von Autorschaftsregelungen auf die Leistungsorientierte Mittelvergabe in der Medizin. Vortrag auf dem Workshop zu Performance-Analysen im Hochschulbereich, TU Braunschweig und Forschungszentrum Jülich, 17.07.2020, Braunschweig.

Verbundprojekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S., & Aman, V. (2020, Januar).
Verbundprojekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung. Vortrag auf der Statusveranstaltung zur BMBF-Förderlinie " Quantitative Wissenschaftsforschung " , BMBF und DLR (Projektträger), 30.-31.01.2020, Berlin.
Conferences

Was bestimmt den Impact medizinischer Forschung? | Abschlussveranstaltung des Projektverbunds „QuaMedFo“.

Biesenbender, S., Herrmann-Lingen, C., & Peters, I. (2022, Mai).
Was bestimmt den Impact medizinischer Forschung? | Abschlussveranstaltung des Projektverbunds „QuaMedFo“, Verbund QuaMedFo, Göttingen/online.

Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S., Herrmann-Lingen, C., Förstner, K., & Peters, I. (2020).
Workshop Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung, Online-Veranstaltung an der Universitätsmedizin Mannheim.

Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S., Herrmann-Lingen, C., Förstner, K., & Peters, I. (2020).
Workshop Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung, Online-Veranstaltung an der Universitätsmedizin Göttingen.

Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung.

Biesenbender, S., Herrmann-Lingen, C., Förstner, K., & Peters, I. (2020).
Workshop Neue Wege in der Evaluation medizinischer Forschungsleistung: Informationsveranstaltung zum Projekt QuaMedFo – Qualitätsmaße zur Evaluierung medizinischer Forschung, Online-Veranstaltung am Universitätsklinikum Hamburg-Eppendorf.
Data Sets

FDZ-DZHW; Universitätsmedizin Göttingen. (2022). Survey of scientific and administrative employees at medical faculties in the QuaMedFo project (Qualitätsmaße zur Evaluierung medizinischer Forschung). Retrieved from: 10.21249/DZHW:qmf2021:1.0.0

Related links

Contact person

Sophie Biesenbender (geb. Schmitt)
Dr. Sophie Biesenbender (geb. Schmitt) +49 30 2064177-37

Researchers

Valeria Aman Judith Hartstein

In cooperation with

Deutsche Zentralbibliothek für Medizin Deutsches Zentrum für Hochschul- und Wissenschaftsforschung Leibniz-Informationszentrum Wirtschaft Universitätsmedizin Göttingen

Funded by

Bundesministerium für Bildung und Forschung