Frequently Asked Questions
• Resultieren bibliometrische Analysen in qualitativen Aussagen?
Nein, bibliometrische Analysen liefern nur eine quantitative Beschreibung des Publikationsoutputs und resultieren deshalb in keinen direkten qualitativen Aussagen.
• Wie aussagekräftig sind bibliometrische Analysen?
Sie sind dann aussagekräftig, wenn sie fachspezifische Besonderheiten berücksichtigen, verschiedene geeignete Indikatoren verwenden und in einen qualitativen Kontext eingebettet werden. Subjektiver Peer Review und objektive bibliometrische Analyse werden in Kombination als „informed peer-review“ bezeichnet.
• Was liefern bibliometrische Analysen?
Sie zeigen Regelmäßigkeiten, Beziehungen, Auffälligkeiten und andere “Symptome” im untersuchten Publikationsoutput auf und regen in Folge zu weiteren Fragestellungen an, deren Relevanz unter Berücksichtigung des qualitativen Kontexts beurteilt werden kann.
• Ist es gerechtfertigt, dass Forschende nach dem Journal Impact Factor (JIF) evaluiert werden?
Die Antwort ist selbstverständlich nein, da der JIF nicht für die Evaluation von Individuen sondern von Zeitschriften entwickelt wurde. Dieser Indikator wird leider fälschlicherweise für Individualevaluationen missbraucht. Verantwortungsvoll eingesetzt kann er jedoch als ein Maß für die Sichtbarkeit von wissenschaftlicher Publikationsleistung bei Wissenschafter*innen herangezogen werden. Dies ist auch die gängige Praxis an der Universität Wien.
• Was versteht man unter Sichtbarkeit von wissenschaftlicher Publikationsleistung?
Sichtbarkeit definiert sich durch verschiedenste Aspekte. In traditionellen Reputationssystemen der rein akademischen Welt hat die Indexierung in renommierten internationalen multidisziplinären und/oder fachspezifischen Datenbanken sowie die Publikation in Top-Journals nach wie vor einen hohen Stellenwert. Durch das zunehmende Momentum von Open Science gewinnen Erstpublikationen in Open Access Journals, Zweitpublikationen in Open Access Repositories, die Verwendung von Persistent Identifiers (ORCID iD, ROR ID und DOI) sowie ausgeprägte Online-Attention außerhalb der "Publish or Perish" Community an Relevanz.
• Wozu erhöhte Sichtbarkeit?
Erhöhte Sichtbarkeit bewirkt verstärkte Wahrnehmung und erhöht die Chance gelesen, zitiert oder in jedweder Form nachgenutzt zu werden.
• Wie aussagekräftig ist der h-Index?
Der h-Index erfasst Teilaspekte von Produktivität und Impact. Er sollte, wie jeder andere bibliometrische Indikator auch, nicht als alleinstehender Indikator verwendet werden. Da der h-Index definitionsgemäß nie größer als die Gesamtanzahl an Publikationen sein kann, sollte er nur bei Wissenschafter*innen verwendet werden, die sich bereits in einer fortgeschrittenen Karrierestufe befinden, und eine entsprechende Anzahl an Publikationen vorweisen können. Für Jungwissenschafter*innen ist der h-Index ungeeignet. Es kann mathematisch nachgewiesen werden, dass es einen engen Zusammenhang zwischen dem h-Index und der Wurzel aus der Gesamtanzahl der Zitationen gibt (vgl. Krattenthaler, Christian. "Was der h-Index wirklich aussagt" Mitteilungen der Deutschen Mathematiker-Vereinigung, vol. 29, no. 3, 2021, pp. 124-128. https://doi.org/10.1515/dmvm-2021-0050).
Das Team Bibliometrie und Publikationsstrategien nimmt in der Regel davon Abstand den h-Index in seinen Analysen zu verwenden.
• Lassen sich verschiedene Disziplinen / Fachrichtungen bibliometrisch vergleichen?
Aufgrund unterschiedlicher Publikationsstrukturen in unterschiedlichen wissenschaftlichen Fachrichtungen ist deren bibliometrische Vergleichbarkeit eingeschränkt.
Publikationen in den Naturwissenschaften zeichnen sich generell durch Artikel mit wenigen Seiten, der Einbindung vieler Koautor*innen sowie vielen Referenzen aus. Im Rahmen von bibliometrischen Analysen sind diese Publikationen gegenüber jenen in den Geisteswissenschaften begünstigt.
Bei zweiteren werden wissenschaftliche Forschungsleistungen vor allem in Büchern veröffentlicht. Bücher sind in den gängigen Zitationsdatenbanken im Vergleich zu Zeitschriftenartikeln unterrepräsentiert.
• Welche Aussage haben Zitierungen?
Zitierungen werden als Proxy für den Impact bzw. die Resonanz sowie die Wirkung in der publizierenden Wissenschaftscommunity herangezogen. Eine hohe Anzahl an Zitierungen kann, aber muss nicht zwangsläufig, mit einer hohen Qualität der Arbeit korrelieren. Grundsätzlich gilt, dass Zitiergewohnheiten nach unterschiedlichen Fachgebieten divergieren und immer vom disziplinären Kontext abhängig sind.
• Welche Kennzahlen (Indikatoren) sind für bibliometrische Analysen relevant?
Eine Grundregel der Bibliometrie besagt, dass nur die Kombination mehrerer Indikatoren aussagekräftig ist. So sollte z.B. die mittlere Anzahl der Zitierungen eines Forschers nicht ohne die Absolutzahl seiner Arbeiten interpretiert werden.
Das Team Bibliometrie und Publikationsstrategien vertraut demgemäß einem strikt multidimensionalen Analyseansatz und verwendet Indikatoren, die unterschiedliche Aspekte wie Produktivität, Sichtbarkeit, Impact, Kooperationen, etc. berücksichtigen.
• Wie aussagekräftig sind Rankings?
Ziel von Universitätsrankings ist die Bewertung der Hochschulqualität, welche sich aus vielen verschiedenen Kriterien zusammensetzt. Universitätsrankings lassen sich daher nicht eindeutig definieren. Alle diese Rankings basieren auf diversen (teils auch bibliometrischen) gewichteten Kennzahlen (Indikatoren) und verwenden jeweils eine eigene Methodik, die nicht zwangsläufig einsehbar und nachvollziehbar ist. Sie liefern jeweils nur eine eingeschränkte Sichtweise, weichen entsprechend ihren Ergebnissen voneinander ab und sind deshalb sehr kontroversiell.
Im Fall von Zeitschriftenrankings wird auf Basis der erfassten Zeitschriften- und länderspezifischen Indikatoren die Zitationshäufigkeit von Publikationen analysiert und auf dieser Grundlage ein Ranking der jeweiligen Zeitschrift erstellt.
• Welche Datenquellen sind für bibliometrische Analysen geeignet?
Die wichtigsten bibliometrischen Datenquellen sind die multidisziplinären Zitationsdatenbanken Web of Science (Clarivate), Scopus (Elsevier) und Dimensions (Digital Science) sowie die offene Datenquelle OpenAlex. Online Attention abseits der "Publish or Perish" Community kann mit der Datenbank Altmetric (Digital Science) analysiert werden.
Bei allen Datenquellen sollte man immer den Abdeckungsgrad sämtlicher Publikationstypen berücksichtigen, um die Signifikanz der Analyse zu untermauern. Andere fachspezifische Datenbanken können als Ergänzung verwendet werden, um Vollständigkeit und eine Anreicherung der Daten zu erzielen.
• Was versteht man unter Altmetrics?
Altmetrics bieten eine wertvolle Ergänzung zu traditionellen Zitationsmetriken, indem sie die Reichweite und Resonanz wissenschaftlicher Arbeiten in Echtzeit und in verschiedenen digitalen Kontexten abbilden. Sie erfassen Daten aus Social Media, Nachrichtenportalen, wissenschaftlichen Blogs, Wikipedia, Policy-Dokumenten, Patenten und zahlreichen Online-Plattformen. Altmetrics zeichnen ein umfassenderes Bild von der tatsächlichen Wirkung wissenschaftlicher Leistung. Sie können proaktiv in der Publikationsstrategie von Wissenschafter*innen eingesetzt werden und ermöglichen darüber hinaus einen wertvollen ergänzenden Ansatz im Kontext der Bewertung von Forschungsleistungen.
