Bibliometrie

Heute wird darunter vor allem die Messung und Evaluation des wissenschaftlichen Publikationsverhaltens bzw. des Outputs von Personen, Forschungseinrichtungen oder Ländern verstanden.

Bibliometrische Analysen stützen sich auf messbare Parameter wissenschaftlicher Veröffentlichungen, wie zum Beispiel Anzahl der Publikationen und Anzahl der Zitationen (Citations), die aus Zitationsdatenbanken ermittelt werden können. Bekannte fachübergreifende Datenbanken sind das Web of Science (WoS) von Clarivate Analytics (ehemals Thomson Reuters) oder Scopus von Elsevier. Diese werden unter anderem für bibliometrische Analysen im Kontext von Hochschulrankings, wie beispielsweise von Times Higher Education (THE) oder Centrum für Hochschulentwicklung (CHE) genutzt.

Für eine unmittelbare qualitative Bewertung von wissenschaftlichen Veröffentlichungen oder wissenschaftlicher Leistung ist die Bibliometrie jedoch nicht geeignet.

Datenquellen

Bibliometrische Erhebungen basieren auf Parametern, die über verschiedene Datenquellen ermittelt werden können. Bekannte fachübergreifenden Datenbanken sind die Literatur- und Zitationsdatenbanken WoS und Scopus. Weitere Datenquellen sind Google Scholar oder die Datenbank Dimensions von Digital Science, die für ein Ranking des Nature Index 2019 verwendet wurde.

Das WoS ist für alle Hochschulangehörigen über die Lizenz der Universität Bayreuth nutzbar. Scopus ist an der Universitätsbibliothek Bayreuth nicht lizenziert. Dimensions ist (mit eingeschränkten Optionen) kostenfrei im Web verfügbar.

Die verwendeten Datenquellen und die Qualität der zugrundeliegenden Daten können sich auf die bibliometrischen Indikatoren auswirken: Eine unvollständige Identifikation von Autorinnen und Autoren kann zu veränderten Kennzahlen führen, z.B. wenn eine Publikation nicht eindeutig den Autorinnen und Autoren zugewiesen werden kann. Zudem sind häufig nicht alle Publikationen einer Person in einer einzigen Datenquelle erfasst. Bibliometrische Erhebungen für umfassende Evaluationen sollten sich daher möglichst auf mehrere geeignete Datenquellen stützen. Aus Gründen der Transparenz und Nachvollziehbarkeit empfiehlt es sich, die verwendeten Datenquellen mit Erhebungsdatum anzugeben.

Indikatoren

Zur Messung der Quantität und des Impacts von wissenschaftlichem Output stehen verschiedene Indikatoren zur Verfügung. Sie basieren im Wesentlichen auf der Zählung von Publikationen und der Anzahl der Zitationen (Citations).

Zur Quantifizierung des wissenschaftlichen Outputs einer Person (oder einer Institution/eines Landes) wird die Anzahl der Publikationen ermittelt. Die Anzahl der Citations wird als Indikator für die Wahrnehmung bzw. den wissenschaftlichen ‚Impact‘ einer Publikation in der Fachcommunity genutzt. Dies geschieht unter der Annahme, dass die Wahrnehmung einer Publikation positiv mit der Anzahl der Citations korreliert. Aufbauend auf den Basisindikatoren können weitere ermittelt werden, wie beispielsweise der Hirsch-Index (h-Index) und der Journal Impact Factor (JIF).

Bibliometrische Indikatoren können einen Überblick über messbare Aspekte wissenschaftlicher Aktivitäten geben und diese sichtbarer machen. Sie sollten angepasst an die jeweilige Fragestellung ausgewählt werden. Keinesfalls können sie eine qualitative Bewertung ersetzen und sollten daher bei einer Evaluation von wissenschaftlicher Leistung immer zusammen mit einer qualitativen Bewertung verwendet werden.

Personenbezogene Indikatoren (Author Impact)

H-Index

Der 2005 von Jorge Hirsch eingeführte h-Index, hat sich mittlerweile in verschiedenen Fachbereichen als Kennzahl für Personen etabliert. Der h-Index entspricht der Anzahl der Publikationen (h) eines Autors oder einer Autorin, die mindestens h-fach zitiert wurden.

Nutzen und Grenzen

Der h-Index berücksichtigt die Anzahl der Publikationen einer Person (Output) als auch die Anzahl der Citations (Impact). Er gilt als ‚robuster‘ Faktor, der einen Gesamteindruck über den Publikationsverlauf ermöglicht und weniger durch einzelne hochzitierten Top-Artikel beeinflusst wird, als z.B. die Gesamtanzahl der Citations.

Ein Kritikpunkt am h-Index ist die fehlende Berücksichtigung der Karrieredauer. Dies kann zur Benachteiligung von Forschenden führen, die am Beginn ihrer wissenschaftlichen Karriere stehen und vergleichsweise weniger Publikationen haben. Außerdem werden einzelne viel zitierte Top-Artikel oder viele, vergleichsweise gering zitierte Artikel im h-Index nicht entsprechend abgebildet.

Bereits Jorge Hirsch hat darauf verwiesen, dass ein hoher h-Index zwar ein Indiz für eine gute wissenschaftliche Leistung sein kann, die umgekehrte Schlussfolgerung jedoch nicht notwendigerweise getroffen werden kann (vgl. Hirsch J., 2005).

So ermittelt man den h-Index

Der h-Index kann in verschiedenen Datenbanken wie dem WoS, Scopus oder über Google Scholar ermittelt werden, bei einer überschaubaren Anzahl von Publikationen auch „von Hand“. Er wird sich jedoch immer abhängig von der jeweiligen genutzten Datenbasis und dem analysierten Zeitraum unterscheiden.

Alternativen

  • M-Quotient: Der M-Quotient berücksichtigt die Länge der wissenschaftlichen Karriere (h-Index/Jahre seit der ersten Publikation).
  • G-Index: Der von Leo Egghe vorgeschlagenen G-Index berücksichtigt höher zitierte Top-Artikel (vgl. Egghe L., 2006).
  • i10-Index: Der von Google Scholar angebotene i10-Index entspricht der Anzahl von Publikationen mit ≥ 10 Zitationen.

Zeitschriftenbezogene Indikatoren (Journal Impact)

Zeitschriftenbezogene Kennzahlen werden genutzt, um die Bedeutung oder den Impact einer wissenschaftlichen Zeitschrift zu messen. Eine mögliche Anwendung ist die Einschätzung der relativen Bedeutung einer Zeitschrift bzw. die Sichtbarkeit der dort publizierten Beiträge innerhalb eines Fachgebiets. Zur Bewertung von Personen oder einzelnen Artikeln sind zeitschriftenbezogene Indikatoren demnach nicht geeignet. Eine der bekanntesten Zeitschriftenkennzahl ist der Journal Impact Factor (JIF).

Journal Impact Factor

Der JIF ist ein Indikator für die Bedeutung einer Zeitschrift. Er wird jährlich im Journal Citation Report (JCR) von Clarivate Analytics veröffentlicht. Die Datenbasis ist das WoS. Der JIF gibt an, wie häufig Publikationen (bzw. „items“) einer Zeitschrift durchschnittlich im Erhebungsjahr zitiert wurden. Einbezogen werden Publikationen/„items“ aus den beiden vorhergehenden Jahren (2-Jahres-Zeitraum).

JIF = (Citations im JCR Jahr für items aus "Jahr-2" + Citations im JCR Jahr für items aus "Jahr-1") / (citable items aus "Jahr-2" + citable items aus "Jahr-1")

Eine detaillierte Erklärung des JIF findet sich bei Clarivate Analytics.

Nutzen und Grenzen

Als zeitschriftenbezogener Indikator kann der JIF verwendet werden, um die Sichtbarkeit von Publikationen in einer Zeitschrift innerhalb einer Fachdisziplin einzuschätzen. Er eignet sich jedoch nicht, um die Qualität einzelner Publikationen, Personen oder Forschungseinrichtungen zu evaluieren.
Zudem stehen der JIF und auch die teils missbräuchliche Verwendung seit Längerem in der Kritik. Schwächen des JIF sind
  • die fehlende Berücksichtigung fachspezifischer Publikations- und Zitiergewohnheiten,
  • die unzureichende Abdeckung mancher Fächer im WoS,
  • die begrenzte Erfassung von relevanten Zeitschriften im WoS und
  • der kurze Berücksichtigungszeitraum von nur zwei Publikationsjahren.
Verschiedene Initiativen haben daher Empfehlungen zur Verwendung des JIF sowie zur fairen und transparenten Evaluation von Forschungsoutput verfasst. (vgl. The San Francisco Declaration on Research Assessment (DORA) und das Leiden Manifesto). Im Kontext ihrer Stellungnahme zur Gründung von „cOAlition S“ zur Unterstützung von Open Access hat auch die DFG im September 2018 einen Abkehr von Indikatoren wie dem JIF und eine Veränderung der Systeme zur Leistungsmessung durch Forschungsorganisationen empfohlen.

So ermittelt man den JIF

Angehörige der Universität Bayreuth können den JIF über den an der Universität lizenzierten JCR kostenfrei abrufen.

Alternativen
  • CiteScore: Der CiteScore gibt die durchschnittliche Anzahl an Zitationen bezogen auf Veröffentlichungen in einem Zeitraum von vier Jahren an. Folgende Dokumenttypen werden erfasst: articles, reviews, conference papers, data papers and book chapters. Die Datenbasis für den CiteScore ist Scopus von Elsevier. Der CiteScore ist (im Gegensatz zur Datenbank Scopus) ohne Lizenzierung kostenfrei recherchierbar.

  • SCImago Journal Rank Indicator: Der SCImago Journal Rank (SJR) gibt die durchschnittliche Anzahl an gewichteten Zitationen im Erhebungsjahr an, bezogen auf Veröffentlichungen der Zeitschrift aus den vorhergehenden drei Jahren. Abhängigkeit von der Bedeutung („Prestige“) des Journals, aus dem die Zitationen stammen, werden die Zitationen unterschiedlich gewichtet. Datengrundlage ist Scopus. Der SJR ist kostenfrei recherchierbar.

Artikelbezogene Indikatoren (Article Impact)

Article Level Metrics (ALMs) versuchen, den Impact eines einzelnen Artikels zu messen. ALMs nutzen traditionelle Datenquellen (z.B. Anzahl Citations) als auch neuere alternative Datenquellen (insbesondere die soziale Medien, Tweets, Blog-Posts usw., vgl.altmetrics.org)

Die Public Library of Science (PLOS) hat bereits 2009 ALMs auf ihrer Verlagsplattform angeboten. Häufig werden die beiden Begriffe ALMs und Alternative Metriken bzw. Altmetrics synonym verwendet. Altmetrics (zusammengesetzt aus: „alternative“ und „metrics“) sind Metriken, die Daten aus alternative Datenquellen nutzen, um Online-Aktivität zu messen. Sie können prinzipiell auch unabhängig von der Artikelebene auf Personen, Institutionen oder Journals angewendet werden. ALMs dagegen umfassen Metriken, die versuchen, den Impact auf Artikelebene zu messen, unabhängig davon, ob sie traditionelle oder alternative Datenquellen nutzen.

Nutzen und Grenzen

Alternative Metriken sind kurz nach der Publikation verfügbar und erfassen auch Bereiche außerhalb der wissenschaftlichen Community (z.B. Facebook, Twitter…). Sie sind nicht auf die Artikelebene begrenzt, sondern können auch auf andere Publikationsformen wie Daten, Software, Vorträge usw. angewendet werden.

Alternative Metriken sind bisher aber nur wenig erforscht. So ist zum Beispiel unklar, ob und welche Bedeutung ein Tweet oder Online-Aktivität generell für den Impact eines wissenschaftlichen Beitrags hat. Zudem unterscheiden sich häufig die Datenbasis und Klassifizierung zwischen den einzelnen Anbietern. Altmetrics werden daher nur als eine Ergänzung zu traditionellen Metriken gesehen und sind – wie auch die traditionellen Metriken – nicht geeignet, um die Qualität eines wissenschaftlichen Beitrags messen. Vielmehr versuchen Altmetrics zu berücksichtigen, dass sich die Form der Wissenschaftskommunikation verändert und erfassen daher weitere Wege, über die Forschung kommuniziert und diskutiert wird, insbesondere die Aufmerksamkeit, die ein Beitrag im Web generiert.

Verfügbarkeit von ALMs/Altmetrics

ALMs werden beispielsweise direkt auf der Verlagsplattform der Public Library of Science (PLOS) für dort publizierte Artikel angeboten. Für den jeweiligen Artikel sind verschiedene ALMs verfügbar, wie Online-Nutzungs-Daten, Zitationen oder Aktivitäten im Social Web (Blogs, soziale Medien wie Facebook und Twitter, …).
Viele Verlage haben mittlerweile ALMs und Altmetrics auf ihren Verlagsplattformen integriert, so beispielsweise auch die Nature Publishing Group, BiomedCentral oder Taylor and Francis. Neben Zitationsdaten werden häufig die alternativen Metriken des kommerziellen Anbieters Altmetric verwendet. Altmetric visualisiert Online-Aktivität über den altmetric badge (Altmetric Donut). Verschiedenen Farben repräsentieren die unterschiedlichen Bereiche der online-Aktivität (z.B. News, Twitter, Facebook). Ergänzt wird das Altmetric Badge durch einen Attention Score, eine gewichtete Bewertung der online-Aufmerksamkeit (vgl. altmetric badge).

Grenzen der Bibliometrie

Nicht alle Publikationen und Publikationsformen werden in den jeweils verwendeten Datenbanken erfasst. Dies betrifft auch die fachübergreifenden Datenbanken wie Web of Science und Scopus, in denen die Fachdisziplinen unterschiedlich umfassend repräsentiert werden. Gerade die geistes- und sozialwissenschaftlichen Fächer, die vorwiegend in Monographien publizieren, sind dort teils nicht ausreichend abgedeckt.

Aufgrund unterschiedlicher Publikationsgewohnheiten ist kein Vergleich zwischen verschiedenen fachlichen Disziplinen möglich. So unterscheiden sich beispielsweise die Fächer in der durchschnittlichen Anzahl der angegebenen Referenzen pro Artikel oder in der Anzahl der (Ko-)Autor*innen. Dies kann nachfolgend bibliometrische Indiaktoren wie den h-Index beeinflussen.

Nicht geeignet sind bibliometrische Analysen zudem für eine unmittelbare qualitative Bewertung von wissenschaftlichen Veröffentlichungen oder wissenschaftlicher Leistung. Sie können diese nicht ersetzen und sollten daher für eine Evaluation von wissenschaftlicher Leistung immer zusammen mit einer qualitativen Bewertung verwendet werden.

Allgemeine Empfehlungen zur Anwendung der Bibliometrie und weiteren Hinweise für die verschiedenen Akteure im Forschungsumfeld bieten die DORA Deklaration und das Leiden Manifesto.
Beratung und Services

Die Bibliometrie kann hilfreich sein, um Indikatoren für Anträge (z.B. eigener h-Index) zu ermitteln oder um die Auswahl einer geeigneten Zeitschrift für die eigene Publikation zu unterstützen.

Gerne können Sie sich bei Fragen an uns wenden:

Universitätsbibliothek

Clemens Engelhardt

Tel. 0921 / 55 - 3429

Dr. Birgit Regenfuß

Tel. 0921 / 55 - 3415
Stabsstelle Forschungsförderung

Dr. Ursula Higgins

Tel. 0921 / 55 - 7783