Pátý ročník konference KRE (zkratka pro Knowledge, Research and Education) byl věnován využití statistických údajů o publikační a jiné aktivitě autorů – vědeckých pracovníků pro hodnocení dosažených výsledků a strategické rozhodování o směrování výzkumných pracovišť. Konference volně navázala na projekt Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (zkráceně IPN Metodika).

Návštěvníci konference KRE 2014

Po úvodních přednáškách Franciho Demšara o strategickém řízení výzkumu na národní úrovni a Daniela Münicha o využití bibliometrických ukazatelů pro řízení vědeckých institucí zazněly zprávy Williama Nixona a Kate Robinson o zkušenostech s využíváním citačních dat pro bibliometrické účely na univerzitách ve Velké Británii. Evangelia A. E. C. Lipitakis a Krzysztof Szymański jako zástupci dvou klíčových producentů citačních dat poskytli stěžejní informace o možnostech bibliometrických nástrojů InCites a SciValpro strategické řízení, které druhý den v rámci semináře doplnili podrobnými instrukcemi a praktickými ukázkami. Martin Svoboda představil návrh na vznik konsorcia pro nákup a využívání bibliometrických nástrojů, pro jehož přípravu byla NTK oslovena českými univerzitami, a vyzval zájemce k aktivní spolupráci na vytvoření konsorcia.

Druhý den konference se zaměřil na praktické aspekty práce s bibliometrickými nástroji v seminářích. Pavel Mika a Jakub Szarzec přednesli zkušenosti Knihovny Akademie věd a NTK s těmito nástroji. Zlatým hřebem konference byla skvěle daty podložená a vtipně prezentovaná přednáška Jiřího Jiráta o přínosech a úskalích bibliometrie. Konferenci uzavřela Jitka Moravcová, která shrnula význam indikátorů pro institucionální hodnocení a financování vědy a poskytla aktuální informace o projektu Metodika.

Konferenci KRE 14 pořádala ve dnech 9. a 10. října 2014 Národní technická knihovna a Vysoká škola chemicko-technologická v Praze ve spolupráci s Českou zemědělskou univerzitou v Praze, Českým vysokým učením technickým v Praze a Ústavem organické chemie a biochemie AV ČR.

Transparentnost ve Slovinsku

Franci Demšar je v současné době ředitelem slovinské agentury Slovenian Research Agency. Řízení výzkumu a vývoje je pro něj nejen profesionální výzvou, se kterou se setkal v minulosti na pozici státního tajemníka ministra pro vědu a techniku a na dalších postech slovinské vlády, ale i předmětem jeho vědeckého zájmu, který zúročil v knize a několika vědeckých příspěvcích. Franci Demšar získal titul Ph.D. v oboru fyzika na univerzitě v Lublani v roce 1987 a publikoval více než sto článků v oblasti magnetické rezonance.

V přednášce „Strategické řízení výzkumu na národní úrovni“ vyzdvihl Franci Demšar na příkladu příběhu s whisky transparentnost jako jeden z nejdůležitějších samoregulačních faktorů, který je v kombinaci s bibliometrií efektivním nástrojem řízení vědy. V době jeho působení na ministerstvu pro vědu a techniku se podařilo prosadit zásadu, aby všechny výsledky vědecké práce financované z veřejných prostředků ve Slovinsku byly přístupné veřejně na internetu. Počet výstupů z vědecké činnosti ve Slovinsku se od roku 2003 výrazně zvýšil.

Systém COBISS zveřejňuje nástroje a postupy financování vědeckých projektů, zpřístupňuje výsledky jejich činnosti a umožňuje je hodnotit; poskytuje také přehledy o vyúčtování projektů. Vědečtí pracovníci a týmy dostávají finanční prostředky na vědeckou činnost pouze po zveřejnění a vyhodnocení výsledků v tomto systému. Dalšími nástroji používanými ve Slovinsku pro zpřístupnění výsledků vědecké činnosti, propojování a sdílení informací o vědeckých projektech, vědcích a financování jsou profesionální bibliometrické databáze Web of Science a Scopus, systém SICRIS, Digital Library of Slovenia, vědecké přednášky online “Videolectures.net” a Science Atlas.

Franci Demšar, ředitel Slovenian Research Agency

Bibliometrie – dobrý sluha, špatný pán

Daniel Münich se dlouhodobě zabývá problematikou institucionálního hodnocení a financování výzkumu. Je docentem na CERGE-EI, společném akademickém pracovišti Národohospodářského ústavu Akademie věd ČR a Centra pro ekonomický výzkum a doktorská studia Univerzity Karlovy. Vystudoval elektrotechnickou fakultu na ČVUT, doktorát v ekonomii získal na Univerzitě Karlově.

Daniel Münich se se sloganem „Bibliometrie je dobrý sluha, špatný pán” ve své přednášce „Využití bibliometrických ukazatelů v řízení výzkumné instituce” věnoval problematice věrohodných informací o kvalitě vědeckých výsledků, které vůbec není jednoduché získat.

Vždy je nutné si ujasnit, co hodnotíme, za jakým účelem, co dané bibliometrické ukazatele říkají a co ne. Jiné jsou postupy pro hodnocení a řízení katedry či menšího vědeckého týmu, fakulty či ústavu, vysoké školy nebo velké vědecké infrastruktury či zapojení do mezinárodní vědecké infrastruktury. Při institucionálním hodnocení je důležitá nejen úroveň hodnocení (tým vs. univerzita), ale i dimenze hodnocení (úroveň vstupů a výstupů, řízení a fungování, vize rozvoje instituce). Bibliometrie nás informuje o počtu a kvalitě publikací (v časopisech a sbornících; WoS/Scopus), rozsahu a kvalitě akademického ohlasu (citace), rozsahu a kvalitě spolupráce, mobilitě a mezioborovosti. Mezi hlavní zásady patří vypovídací schopnost, která stojí na kvalitě dat, na použití adekvátního oborového hlediska a adekvátního benchmarkingu. Bibliometrické hodnocení se má zaměřit spíše na výkon než na produktivitu a spíše na profil indikátorů než na průměr.

Kvalita a význam výsledků jsou zatíženy neurčitostí, proto je nutný kompromis, kterým je například využití zákona velkých čísel a kombinace metod – analýzy citovanosti a peer review. Docent Münich připomněl, že je nutné dávat pozor na malá čísla, autocitace, publikování ve spřízněných časopisech a sbornících, velikost autorských týmů a na skutečnost, že některé obory jsou v databázích Web of Science a Scopus nedostatečně pokryté. Přednášku doplnil příkladem bibliometrické opory institucionálního hodnocení ústavu Akademie věd ČR.

Daniel Münich, docent CERGE-EI, garant KA2 projektu IPN Metodika a člen dvou odborných komisí Rady vlády pro VaVaI

Národní licence?

Martin Svoboda je ředitelem Národní technické knihovny a aktivním členem českých i mezinárodních uskupení (SKIP, ELAG, LIBER a dalších). V minulosti pracoval v Národní knihovně ČR jako systémový programátor, ředitel odboru automatizace a vedoucí oddělení pro CASLIN. Vystudoval ČVUT v oboru elektrotechnika, specializace výpočetní technika.

V přednášce „Národní licence pro měřicí nástroj[e]?” Martin Svoboda informoval, že Národní technická knihovna byla vyzvána českými univerzitami ke koordinaci postupu při pořízení vhodného nástroje pro hodnocení a řízení vědeckých institucí. NTK v průběhu léta a podzimu roku 2014 oslovila potenciální dodavatele těchto nástrojů – InCites od Thomson Reuters a SciVal od Elsevieru. Každý z těchto nástrojů má své přednosti, které v průběhu konference KRE představili zástupci obou společností; cenové a obchodní podmínky jsou přibližně stejné.

Martin Svoboda vyložil varianty „konsorcia” – verze a modely pro společný nákup bibliometrického nástroje, připomněl, že využití potenciálu dat o publikační činnosti a zpracování bibliometrických analýz vyžaduje školený personál, a vyzval potenciální zájemce ke spolupráci s NTK. V následující diskusi účastníci konference zvažovali silné a slabé stránky obou nástrojů, možnosti jejich praktického využití i potenciální možnosti pořídit oba nástroje.

Martin Svoboda, ředitel Národní technické knihovny

Bibliometrie na Univerzitě v Glasgow

William J. Nixon je vedoucím služeb digitální knihovny (Digital Library Services) na Univerzitě v Glasgow. Oddělení zodpovídá za webové služby knihovny, IT uživatelskou podporu, Library Management System (Sierra) a dlouhodobý rozvoj služeb institucionálního repozitáře univerzity (Enlighten). S citačními daty a nástrojem InCites  pracuje od začátku jeho implementace na univerzitě před čtyřmi lety. Koordinuje využití Enlighten pro výběr výstupů pro britský Research Excellence Framework (REF2014) a používá InCites pro poskytování rozšířených citačních dat a vizualizací. Je členem vedení komise Programme Committee for Open Repositories a rady SPARC Europe.

William J. Nixon ve své přednášce „Bibliometrie na univerzitě v Glasgow” poukázal na praktické využívání a zkušenosti univerzity s nástrojem InCites. Kromě něj univerzita používá další databáze a nástroje, jako je například Scopus nebo Google Scholar. InCites slouží především pro management univerzity. Umožňuje zasadit data získaná z něj do potřebného kontextu, díky čemuž je následně možné srovnávat vědecké výsledky s ostatními vědci, odděleními nebo celými institucemi. Další výhodou tohoto přístupu je možnost identifikovat možné spolupracovníky v rámci budoucího výzkumu a vývoje.

Zajímavostí je, že bibliografické údaje o publikacích jsou dodávány pro hodnocení Research Excellence Framework, které je používáno pro evaluaci výzkumných institucí ve Velké Británii. Získaná bibliografická a citační data jsou využívána jako doplněk peer review procesu v rámci tohoto hodnocení a mají informativní funkci. Univerzita se pomocí nástroje rovněž snaží identifikovat publikace, na kterých její vědci spolupracovali s vědci z konkrétních zahraničních institucí.

Univerzita rovněž provozuje institucionální repozitář, kde je zhruba 72 000 záznamů, z čehož 11 % představují dokumenty, u nichž je k dispozici i plný text. Bibliografická a citační data jsou exportována z databází Web of Science a Scopus. Tato data jsou dále využívána pro vytváření publikačních profilů zaměstnanců univerzity, které slouží jako základ datasetu pro hodnocení v systému InCites. Nixon také představil další kroky do budoucna - jedním z nich je směřovat bibliometrické služby univerzitní knihovny přímo na zaměstnance (např. analýzy z InCites na vyžádání).

William J. Nixon, vedoucí Digital Library Services na University of Glasgow

Bibliometrická analýza s nástroji Thomson Reuters

Evangelia A. E. C. Lipitakis je konzultantka v oblasti kvantitativních metod a analýz pro vědu a výzkum společnosti Thomson Reuters, divize vědy a výzkumu (SSR) pro evropské, blízkovýchodní a africké (EMEA) vysoké školy, výzkumné instituce a orgány zabývající se hodnocením a financováním výzkumu. Titul Ph.D. získala v oboru bibliometrie a magisterský titul v oboru management vědy, v minulosti prováděla výzkum v oblasti scientometrie a přednášela na University of Kent ve Velké Británii.

V úvodu své přednášky „Využití výzkumných analytických zdrojů Thomson Reuters v hodnocení akademického výkonu“ představila Evangelia Lipitakis portfolio společnosti Thomson Reuters, sestávající z citační databáze Web of Science, správce citací EndNote, webového nástroje pro hodnocení výsledků výzkumů InCites a systému pro správu výzkumných informací Converis. V další části prezentace pak rozebrala způsob, jakým probíhá bibliometrická analýza za použití výše zmíněných nástrojů.

V první fázi (kvalifikace, angl. qualification) dochází k extrakci potřebných informací z dat jejich čištění. Druhá fáze (měření, angl. measuring) se zabývá tím, jaké ukazatele jsou zajímavé v kontextu určité metriky, kterou je možné použít například pro hodnocení vědy a výzkumu. Po provedení takové statistické analýzy lze pomocí nástroje InCites provádět například srovnání příbuzných metrik, získaná data lze zasadit do kontextu a eventuálně zvážit omezení, která z těchto dat plynou, a předejít tak jejich chybné interpretaci. Čtvrtou fází aplikace bibliometrické analýzy je uchování dat a jejich interpretace.

Příkladem využití bibliometrické analýzy může být srovnání produktivity výzkumu a jeho dopadu na daný vědní obor mezi jednotlivými zeměmi či srovnání se světovým nebo regionálním průměrem. Další možností, jak lze využít výstupy takové analýzy, je sledování vývoje mezinárodní spolupráce v oblasti výzkumu. Bibliometrická analýza provedená pomocí výše uvedených nástrojů rovněž umožňuje získat informace nebo alespoň další náhled na informace o produktivitě jednotlivých vědeckých pracovišť v dané zemi, sledovat jejich normalizovaný citační dopad a další indikátory.

Evangelia A. E. C. Lipitakis ze společnosti Thomson Reuters

SciVal na Univerzitě v Bath

Kate Robinson pracuje v Univerzitní knihovně na University of Bath, je členkou Univerzitní výkonné rady a dalších klíčových komisí, které vytvářejí a vedou strategii a vizi univerzity. Podílí se na řadě profesionálních aktivit v oblasti veřejných i neveřejných knihoven a reklamního průmyslu: je členkou Výkonné rady Society of College, National and University Libraries (SCONUL), místopředsedkyní rady pro registrace a akreditace knihovnických profesionálů při Chartered Institute of Library & Information Professionals’ (CILIP), funkcionářkou a členkou Royal Society of Arts a CILIP. Vystudovala nejprve teologii na University of Manchester, s titulem magistra knihovnických a informačních studií pracuje v knihovnách od roku 1980.

Kate Robinson prezentovala praktické zkušenosti Univerzity v Bath s využíváním systému SciVal. Přiblížila systém hodnocení vědy ve Spojeném království a zvážila současné a potenciální možnosti použití bibliometrie na několika praktických příkladech. Univerzita v Bath spustila novou službu SciValu jako nástroje pro analytické hodnocení a podpory vědecké činnosti na třech úrovních: v rámci celé univerzity, kateder nebo vědeckých skupin a na úrovni jednotlivých vědců. Zdůraznila možnosti benchmarkingu a analýz pro plánování publikačních strategií a spolupráce s jinými výzkumnými institucemi či univerzitami.

Kate Robinson z University of Bath

Co umí SciVal

Krzysztof Szymański pracuje ve společnosti Elsevier jako konzultant v oblasti řízení vědy, bibliometrie, hodnocení vědy a scientometrie. Získal Ph.D. v oboru ekonomie a bibliometrie, má vzdělání i profesionální zkušenosti v oblasti ekonomických věd a vrcholového managementu.

Krzysztof Szymański v názorné ukázce představil systém a nástroj SciVal, který pracuje nad bibliografickými daty z databáze Scopus a je doplněn o vizualizační funkce. SciVal byl vyvinut ve spolupráci s vědci, manažery a veřejnými činiteli v oblasti výzkumu za účelem hodnocení vědců, výzkumných týmů, institucí a států podle předem vybraných měřítek a indikátorů. Tento systém umožnuje širokou škálu analýz na úrovni jednotlivých publikací a autorů, ale také na úrovni institucí. Systém obsahuje moduly pro zpracování přehledů, benchmarkingu a analýz o vědecké spolupráci, užitečná je funkce pro export dat a grafů. Přednášející předvedl na příkladu analýzy publikační činnosti Univerzity Karlovy v Praze možnosti různého nastavení přehledů s využitím bibliometrických indikátorů a benchmarkingových srovnání na úrovni regionální, institucionální, oborové i autorské.

Na swingovém koncertě (nejen) pro účastníky konference KRE se hrálo, zpívalo i tančilo

Bibliometrie v Knihovně Akademie věd ČR

Pavel Mika působí v Knihovně Akademie věd ČR a zaměřuje se na bibliometrii a scientometrii. Aktivně se podílí na projektu IPN Metodika jako expert klíčové aktivity 1 – informační podpory. Absolvoval Ústav informačních studií a knihovnictví Univerzity Karlovy v Praze.

Ve svém příspěvku představil "Zkušenosti Knihovny AV ČR" s oborem bibliometrie. Na počátku krátce zmínil respektované zásady v rámci tohoto oboru (San Francisco Declaration on Research Assessment) a používané informační zdroje sloužící pro publikační a citační analýzu. Podrobně zmínil analytické možnosti databáze ASEP pro evidenci publikační činnosti Akademie věd České republiky, který je spravován Knihovnou AV ČR. Věnoval se Analytice ASEP, jež umožňuje vytvářet statistické přehledy z bibliografických dat vložených jednotlivými ústavy AV ČR. Na grafických výstupech z ASEP představil možnosti vytváření různých základních analýz podle druhu dokumentu, jejich počtu, oborového třídění, zahraniční spolupráce mezi autory a percentilového hodnocení podle impakt faktoru časopisu. Mluvil také o svých zkušenostech v rámci Klíčové aktivity 1 – Informační podpora projektu IPN Metodika, kde je bibliometrie důležitou součástí pro vytvoření nového hodnocení výzkumných organizací v České republice. Přednesl poznatky z testování nástrojů InCites a SciVal v rámci tohoto projektu a seznámil obecenstvo s jednotlivými používanými indikátory. Závěrem přednášky vyzdvihl možnosti základních a pokročilých analýz z retrospektivního hlediska vědeckého publikování. Zmínil také, že stále chybějí standardy pro kvalitní bibliometrii. Toto má změnit Leiden Manifesto, jenž zazněl na letošní International Conference on Science and Technology Indicators, které se přednášející zúčastnil. O Leiden Manifesto v současné době probíhá mezinárodní odborná diskuze. V České republice by měly být jako standard pro hodnocení vědy použity výsledky projektu IPN Metodika.

Bibliometrie v NTK

Jakub Szarzec pracuje v Oddělení referenčních a oborových služeb Národní technické knihovny, kde se věnuje citační analýze, bibliometrii, scientometrii a poskytování referenčních služeb v této oblasti. Zároveň se jako jeden z expertů Klíčové aktivity 1 aktivně podílí na projektu „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ (IPN Metodika). Vystudoval Informační studia a knihovnictví na Slezské univerzitě v Opavě.

Jakub Szarzec vystoupil s příspěvkem „Bibliometrie v Národní technické knihovně: metody, zkušenosti, mise a vize". Na začátku shrnul a vysvětlil terminologii používanou v bibliometrii, definici citační analýzy a dalších různých metod v rámci oboru. Uvedl dva příklady vizualizací bibliografických dat z databází Scopus a Web of Science. První vizualizace ukázala frekvenci výskytu klíčových slov z názvů publikací napsaných autory z České republiky z pohledu oboru chemie. Poukázal zejména na patrné rozdíly mezi citačními databázemi, které mají různé pokrytí. Druhá analýza ukázala vazby mezi autory VŠCHT, kteří publikovali v časopise Chemické listy. Po představení analýz a vizualizací shrnul zkušenosti NTK s využíváním bibliometrie. Přednášející zdůraznil misi NTK pro podporu akademické veřejnosti a význam spolupráce s univerzitními partnery v rámci kampusu pro zajištění kvality dat pro citační analýzy. Zmínil se rovněž o zkušenostech získaných v projektu IPN Metodika, o zakoupené bibliometrické zprávě s názvem „International Comparative Performance of the Czech Republic research base 2012" a poznatcích z konzultací se zákazníky NTK. Zajímavé zkušenosti také získal při soustavné administraci oprav institucionálních profilů v citační databázi Scopus. Na konci své přednášky mluvil o budoucnosti bibliometrie v Národní technické knihovně, například o budoucí realizaci konsorcia na nákup nástrojů nebo pokusu o rozšíření spolupráce směrem k univerzitám a nabídku rozšířených služeb.

Hledání nejlepšího vědce

Jiří Jirát je vysokoškolským učitelem a členem Laboratoře informatiky a chemie a Centra informačních služeb Vysoké školy chemicko-technologické v Praze se zaměřením na chemickou informatiku. Je absolventem oboru Chemické inženýrství.

V přednášce „Bibliometrie: přínosy, úskalí“ přehledně vyložil a porovnal přístupy, vypovídací hodnotu, nástroje, zdroje, nejčastěji používané indikátory a typy metrik používané v bibliometrii. Na konkrétním příkladu srovnání zahraniční a českých vysokých škol předvedl úskalí hodnocení pouze na základě údajů o publikační činnosti, které je bez nadstavbového nástroje příliš pracné a má malou vypovídací hodnotu. Ukázal příklad „kvantitativně-kvalitativní analýzy“ pro účely hodnocení vědecké činnosti instituce pomocí nástroje SciVal. Předvedl možnosti bibliometrie pro hodnocení kvality výzkumné skupiny, podoborů a oborů, zdůraznil nutnost vícekriteriálního hodnocení. Uvedl příklady časového vývoje množství publikací v nejlépe hodnocených časopisech v chemii ve srovnání s citovaností publikací v tomto oboru. Na příkladu hledání „nejlepšího vědce“ prezentoval nebezpečí schematického použití bibliometrického přístupu, který může vyústit v zavádějící nebo jednostranné interpretace.

IPN Metodika aktuálně

Jitka Moravcová je profesorkou organické chemie na Vysoké školy chemicko-technologické v Praze se zaměřením na syntézu derivátů sacharidů s potenciální biologickou aktivitou. V letech 2005-2007 byla prorektorkou pro vědu a výzkum VŠCHT. Je odbornou garantkou IPN projektů MŠMT „Audit“ a „Metodika“. Vystudovala VŠCHT Pardubice (nyní Univerzita Pardubice), kde získala doktorát.

Jitka Moravcová v závěrečné přednášce konference „Význam indikátorů v institucionálním hodnocení a financování“ informovala o současném stavu řešení IPN projektu Metodika. Současná metodika hodnocení v ČR jednoznačně definuje uznatelné výsledky, jak se data sbírají a jak se převádějí na body, dává jednoznačný signál, že bez výsledků není institucionální podpora, je účinná proti korupci a lobování. Zároveň však slouží pouze pro krátkodobé financování, podporuje fragmentaci vědeckých výsledků, nepodporuje mezioborovost, je pouze kvantitativní.

Návrh projektu IPN Metodika se zabývá vytvořením nového institucionálního hodnocení na základě multikriteriálního a oborového přístupu, který bude respektovat postavení a roli dané výzkumné organizace v systému VaVaI, bude využívat bibliometrických analýz, dalších analýz a indikátorů. V budoucnosti tak bude možné periodicky hodnotit výkonnost českého systému VaVaI jako celku i jeho jednotlivých částí v oborovém, sektorálním a institucionálním členění v porovnání se světovými standardy. Podle harmonogramu projektu byla vypracována zpráva „Zásady institucionálního hodnocení“, v listopadu 2014 proběhne veřejná diskuse ke zprávě. V roce 2015 vzniknou další zprávy, proběhnou veřejná projednávání a diskuse a velké pilotní ověření nového modelu hodnocení české vědy.