Evaluace vědeckého výkonu založená na citační statistice čili Infarkt Faktor - dobrý sluha, ale zlý pán (Petr Ráb)
Petr Ráb se (společně se spoluautorkou Ivanou Laiblovou Kadlecovou) zaměřil na indikátor, který se u nás nejvíce používá pro hodnocení vědy. Ukázal, jak problematický tento jediný bod současné metodiky hodnocení vědy je. P. Ráb reagoval na dokument Citation Statistics : a Report from the International Mathematical Union, ve kterém byl vysloven názor, že impakt faktor (IF) je spíše než užitečným indikátorem fetišem dnešní doby. Ráb uvedl, že věda a výzkum jsou velmi mocné - už jen vzhledem k míře investic do těchto oblastí. V rámci Web of Science existují ještě jiné indikátory, např. index bezprostředního vlivu, poločas citovanosti, ale i novější H-index nebo C-index, který umožňuje mj. porovnávání přes obory. Nově byl zaveden pětiletý IF, který je u mnoha disciplín mnohem vyšší než klasický (dvouletý) IF, typicky např. v matematice.
P. Ráb rozebral bod po bodu, co nám vlastně říkají bibliometrické statistiky. Nejprve musíme uvažovat nutné předpoklady, jako velké soubory zdrojových dat a nezávislou a objektivní interpretaci výsledků. P. Ráb uvedl typické omyly užití IF. Např. nelze srovnávat časopisy mezioborově. IF je často aplikován ne na časopisy, pro které byl vyvinut, ale i pro články, týmy apod. IF bývá často brán jako náhrada za peer-review. IF je proměnlivý, má velký rozptyl hodnot podle oboru, což je velmi závislé na počtu autorů v dané disciplíně; dále je závislý na typu dokumentu, např. letter to the editor je otištěn rychleji než klasický článek a navyšuje tak dvouletý IF. Další rozptyl je dán velikostí časopisu, tj. u malých časopisů se množství článků mění až o 40 %, u časopisů s průměrně 150 články je tento rozptyl průměrně jen 15 %. Objevuje se také zcela základní problém čitatele a jmenovatele IF, tedy co je článek a co je citace (např. problém autocitací, kterých je někdy až 40 %).
Bibliometrické statistiky tak někdy slouží pro špatné účely, neboť se používají pro porovnávání napříč obory. S údaji se také provádějí další (zavádějící) matematické úkony (a v ČR se pak bohužel přímo transformují na peníze). P. Ráb shrnul, že IF je v tomto smyslu spíše iluzorní veličinou než indikátorem s vypovídající hodnotou. IF často také odpovídá spíše zájmu o obor než o jeho kvalitě. P. Ráb dále uvedl bibliometrické statistiky za AV ČR. Ukázal, jaké typy dokumentů produkují jednotlivé vědecké klastry a jaký je podíl impaktovaných a neimpaktovaných článků v jednotlivých oborech. Komentoval také situaci v ČR odkazem na výše citovaný dokument, kde je jasně řečeno, že zejména pro hodnocení dopadu je nutné komunikovat s odbornou veřejností, což se bohužel v ČR příliš neděje. Na závěr apeloval, že je třeba stále laické veřejnosti zdůrazňovat, jak je věda důležitá.
Spoluautorka: Ivana Laiblová Kadlecová, Knihovna Akademie věd České republiky, Praha
(text konferenčního příspěvku [4])
(lv)