O portálu Eigenfactor.org

V současné době význam hodnocení vědy velmi nabývá na významu. Metody, kterých se pro hodnocení používá, se systematicky rozvíjejí již několik desítek let, nicméně nyní zažívají opravdu bouřlivý rozvoj. Proč je důležité hodnocení vědy a vědeckých výstupů samotných, snad netřeba vysvětlovat; v tom nejširším záběru je na jedné straně hodnocení nezbytné pro efektivní financování, na druhé straně pro rozpoznání kvality vědeckého výstupu. Jednu z nových metod nabízí portál Eigenfactor.org s podtitulem „Ranking and Mapping Scientific Knowledge“, který kromě hodnocení odborných časopisů navíc přidává velmi zajímavé vizualizační, statistické a srovnávací výstupy v mapování vědy a velmi srozumitelně ukazuje provázanost jednotlivých disciplín. Poslední z přidaných hodnot portálu je poskytnutí informace o ceně časopisu (v rámci subskripcí) a porovnávání cen časopisů (ve spolupráci s portálem Journalprices.com).

Eigenfactor je nekomerční akademický projekt sponzorovaný Bergstromovou laboratoří na katedře biologie (Department of Biology) na Univerzitě ve Washingtonu (University of Washington), který hodnotí odborné časopisy. Je dostupný zdarma na adrese http://www.eigenfactor.org/. Vychází z dat poskytnutých Thomson Scientific Journal Citation Reports Dataset, přebírá data z rejstříků Science Citation Index a Social Science Citation Index. V projektu je zatím obsaženo 150 000 citačních položek z oblasti přírodních i sociálních věd, a to nejen z odborných časopisů, ale i disertací, populárních časopisů a novin. K hodnocení užívá pětileté citační okno, tj. hodnocení v r. 2006 je vypočítáno z dat za léta 2001-2005.

Teoretické pozadí, metody a model výzkumu

Eigenfactor.org vychází z modelu odborné literatury jako rozsáhlé sítě dokumentů, které jsou navzájem propojeny citacemi. Ve struktuře této sítě jsou obsaženy miliony „rozhodnutí“ vědců o tom, které práce jsou důležité a relevantní pro jejich vlastní práci, síť tak obsahuje velmi cenné informace o relativním vlivu jednotlivých časopisů a také o vztazích a propojeních mezi jednotlivými akademickými disciplínami; extrakce těchto informací je cílem Eigenfactor.org.

Za pomoci metod z teorie sítí, konkrétně „centrality eigenvector“, jsou hodnoceny časopisy obdobně, jako určuje algoritmus Google PageRank pořadí webových stránek, tj. časopisy jsou pokládány za „vlivné“, pokud jsou často citovány ostatními „vlivnými“ časopisy. Metoda eigenvectoru je upravena tak, aby řešila zvláštnosti citačních časopiseckých dat.

Určení vlivnosti časopisu vychází z matematické simulace definované představy o tom, jak se vědci pohybují v této síti a kolik času věnují jednotlivým uzlům sítě (dokumentům). Algoritmus eigenfactoru odpovídá jednoduchému modelu výzkumu, kdy se vědec pohybuje mezi jednotlivými časopisy skrze citační vazby - vědec si po přečtení článku víceméně náhodně zvolí jednu z citací a pokračuje po ní do citovaného časopisu, přečte si zde další článek a tento postup stále opakuje. Poté množství času, který vědec stráví u každého časopisu, nám ukazuje míru důležitosti časopisu v síti odborné literatury. Výsledkem je určení tzv. Eigenfactor Score časopisu, což je odhad procenta času, který stráví uživatelé s daným časopisem.

Jak bylo výše zmíněno, systém určování pořadí reflektuje rozdílnou prestiž citujících časopisů, např. citace z časopisů jako Cell nebo Nature jsou hodnoceny relativně výše než citace z druhořadých časopisů s menší čteností. Eigenfactor odstiňuje také rozdíly v citačních vzorech mezi jednotlivými vědeckými disciplínami, a to díky definovanému modelu vědce a jeho práce – nehledě na to, kolik citací je v článku uvedeno, vědec využije vždy jen jednu. Jinak řečeno, průměrný počet citací za určité období je u každého vědního oboru jiný a síť tyto rozdíly anuluje. Tento přístup taktéž zmenšuje zavádějící vysoké hodnoty impakt faktoru u článků typu review v citačních rejstřících.

Indikátory portálu

Portál přisuzuje časopisům dva indikátory – Eigenfactor Score a Article Influence. Eigenfactor Score (dále ES) je míra důležitosti časopisu pro vědeckou komunitu. Podle definice a matematického modelu je to odhad procenta času, který stráví uživatelé s daným časopisem. Také proto se toto skóre zvětšuje s velikostí časopisu, je přímo závislé na počtu článků, větší časopisy mají také větší ES. Součet všech ES všech časopisů je roven 100, každému časopisu je přisouzena poměrná část ze 100. V r. 2006 měl nejvyšší ES časopis Nature, a to 2.138; v první tisícovce časopisů ES neklesá pod 0.01.

Abychom mohli odhadnout důležitost časopisu nehledě na jeho velikost (počet publikovaných článků), je zaveden druhý indikátor, Article Influence (dále AI). AI je míra průměrného vlivu každého článku v časopise za pět let po jeho publikování. Pokud je AI u časopisu např. 20, znamená to, že průměrný článek v tomto časopise je dvacetkrát vlivnější než průměrný článek v celé kolekci dat. Tento indikátor je srovnatelný s impakt faktorem.

Na portálu jsou k dispozici statistiky deseti nejlepších časopisů.

Vyhledávání a žebříčky časopisů

Obr. 1: Pokročilé vyhledávání portálu [zdroj: http://eigenfactor.org]

K dispozici je jednoduché i pokročilé vyhledávání. V jednoduchém vyhledávání lze hledat podle názvu časopisu, předmětové kategorie, jejichž systém je vlastní Eigenfactoru a je hrubší než kategorizace v Journal Citation Reports (dále JCR; více viz kapitola Cost-Efectivness Search), a roku. V pokročilém se vyhledávání obohatí o pole ISSN, vydavatele a předmětovou kategorii z JCR, můžeme si vybrat zdroj dat (ISI vs. non-ISI listed) a definovat, podle čeho se budou výsledky řadit (AI, EF, jména). V případě zadávání dotazu na jméno časopisu je k dispozici interaktivní nápověda, jak ji známe např. z vyhledávací lišty Google Toolbar.

Jak bylo zmíněno na začátku, portál Eigenfactor.org je obohacen o časopisy, noviny a disertace, které nejsou převzaty z JCR. Tato data jsou pouze za rok 2005. Pokud je chceme zkoumat, vybereme si v rozhraní pokročilého vyhledávání zdroj dat „non-ISI listed“. Je zařazeno 116 044 zdrojů, nicméně s těmito daty nelze pracovat jako s kolekcí JCR, je to spíše informativní výčet, zdroje nejsou opatřeny detailními informacemi a chybí také indikátory, neboť nejsou víceméně propojeny do citační sítě.

Výsledky vyhledávání

Obr. 2: Výsledky vyhledávání z oblasti informační vědy a knihovní vědy [zdroj: http://eigenfactor.org]

Na obrázku č. 2 si můžeme prohlédnout výsledky vyhledávání. Zobrazuje se přehled seřazený podle „AI“ (pokud způsob řazení nezměníme při zadávání dotazu), kliknutím na záhlaví sloupce můžeme řazení kdykoliv změnit. Graficky vyjádřený percentil jednotlivých indikátorů vyjadřuje, jak se jednotlivý časopis umístil v rámci všech ostatních časopisů. Po kliknutí na název časopisu se nám zobrazí bližší informace o časopisu, viz obr. č. 3.

Obr. 3: Detaily časopisu JASIST [zdroj: http://eigenfactor.org]

Stránka s detaily časopisu nám zobrazuje informace o časopisu včetně hodnot všech indikátorů vycházející z portálu Eigenfactor.org a srovnává tyto hodnoty s impakt faktorem. Grafy názorně zobrazují vývoj časopisu, z čehož v případě porovnání nejlepších časopisů lze usuzovat na vývoj disciplíny jako takové v rámci celé vědy, případně obráceně zjišťovat trendy ve vědě. Statistiky jsou dostupné pro několik let.

Cost-Effectivness Search

Třetím z možných vyhledávání je již zmíněné srovnávání cen, resp. poměru cena-výkon, tzv. „Cost-Effectivness Search“. Vyhledávat lze dvojím způsobem, buď podle oblasti („field“), nebo podle kategorie („fine category“), přičemž oblastí je asi 80, kategorií cca 250. Obě pole jsou na sobě nezávislá, tj. kategorie neupřesňuje oblast. Jedná se o dvě rozlišná zařazení, v případě „field“ je reflektováno roztřízení vlastní portálu Eigenfactor.org, které každému časopisu přiřazuje pouze jednu oblast, „fine category“ je obrazem kategorizace v JCR. Ceny jsou přebírány z portálu Journalprices.com, kde jsou zveřejněny též informace, jak je kalkulována cena (uvažována je subskripce v rámci databází).

Analýza vyhledávání na časopisech z oblasti informační a knihovní vědy

Proveďme srovnání výsledků pořadí prvních dvaceti časopisů (zde k dispozici pracovní tabulka [1]) mezi vyhledáváním podle „fine category“ (dále FC), „field“ (dále F) a dat z databáze JCR (dostupný prostřednictvím Web of Knowledge) za rok 2006 na oblasti Information Science and Library Science (v případě F máme možnost vybrat pouze kategorii Information Science). Celkový počet časopisů ve všech výsledcích je po vyloučení duplicit 36. Do první dvacítky ve všech třech případech se dostaly pouze tyto čtyři časopisy:

• College & Research Libraries
• Information & Management
• JASIST [2]
• Journal of Information Science

Porovnejme pořadí časopisů, které se shodně vyskytují v JCR a ve vyhledávání podle FC v první dvacítce podle jejich nejlepšího umístění. Časopisy jsou seřazeny na základě součtu pořadí v jednotlivých žebříčcích, pokud časopis v žebříčku není, je mu přisouzena hodnota 21, tj. min. vyšší, kterou časopis má bez zjišťování reálného pořadí. Výsledný překryv je devět časopisů:

• MIS Quarterly
• Information Systems Research
• Journal of the Americam Medical Informatics Association
• Information & Management
• Annual Review of Information Science and Technology
• College & Research Libraries
• Journal of the Medical Library Association
• JASIST
• Journal of Information Science

Zajímavé je, že u prvních čtyř časopisů je v tomto porovnání pořadí shodné jako v JCR, což je sice logické, neboť FC odpovídá kategoriím JCR, ale navíc můžeme usuzovat, že časopisy s nejvyšším impakt faktorem jsou zároveň nejefektivnější pro vědce, a to i pokud uvažujeme cenu časopisu, která u vysoce impaktovaných časopisů nebývá nejnižší.

Porovnejme nyní data dostupná jen v rámci portálu Eigenfactor.org, tj. F a FC. V obou dvou se shodně vyskytuje pouze osm časopisů:

• College & Research Libraries
• Library Trends
• Library Resources & Technical Services
• Information & Management
• Journal of Academic Librarianship
• Journal of Information Science
• JASIST
• Information Technology and Libraries

Tak malá shoda, byť jsou použita data z jednoho portálu, je jednoznačně dána tím, že zatímco v FC je časopis zařazen multiplicitně do několika kategorií, v F pouze v jedné. Jako příklad uveďme časopis MIS Quarterly, který má nejvyšší impakt faktor, v F ho vůbec nenalezneme, neboť je zařazen v kategorii „Business and marketing“.

Vyhledávání mezi F a FC je tedy naprosto odlišné, trochu zaráží, že pro běžného uživatele ihned není zřejmé, v čem tento rozdíl je; tedy pokud provádí svůj „Cost-Efectivness Search“, není jasné, které z těchto dvou vyhledávání využít nebo jak interpretovat výsledky, tj. které časopisy koupit či doporučit vědcům, neboť jak jsme si ukázali, na prvním místě v pořadí jsou časopisy, které ve druhém vyhledávání vůbec v první dvacítce nenaleznete a také překryv časopisů je poměrně malý (osm).

Pokud pohlédneme na výsledky jednotlivých vyhledávání z hlediska obsahového, lze konstatovat, že do pořadí prvních 20 na portálu Eigenfactor.org se dostaly časopisy, které jsou spíše aplikované, používají se v praxi, zatímco vysoce odborné časopisy, zabývající se z velké části přímo výzkumem (např. Scientometrics nebo informačně-medicínské časopisy) jsou v pořadí hlouběji. Otázkou pak je, zdali má vyhledávání podle toho, jak se časopis „vyplatí“, smysl, a to i pokud přihlédneme k dnešní reálné situaci, kdy knihovny nakupují v konsorciích velké databáze, kam jsou časopisy zahrnuty v různých balíčcích. Pokud chybí specializovaný časopis, knihovna si jej dokoupí. Zde však již hovoříme o cílené poptávce a zpravidla jej nechceme nahradit jiným s podobnou tematikou. Může však posloužit k optimalizaci časopisů a jako doporučení vědcům. Seznam časopisů s překryvem v JCR a FC nám ukazuje, o jaké optimální složení základního jádra pro oblast informační a knihovní vědy bychom mohli usilovat. Závěrem dodejme, že na portálu chybí funkce exportu výsledků, bez něj se data k porovnávání velmi těžce získávají.

Mapování vědy

Zkoumáním odborné literatury jako sítě na základě propojení přes citace je na portálu možné interaktivně procházet výstupy této práce, mapu vědy. K dispozici máme dva nástroje, „Interactive Browser“ a „Motion Charts“, portál mimo je nabízí velmi přehlednou celkovou mapu vědy a zvlášť mapu sociálních věd.

Interactive Browser

Obr. 4: Interaktivní prohlížeč mapy vědy [zdroj: http://eigenfactor.org]

Pomocí nástroje „Interactive Browser“ je možné procházet sítí vědy a sledovat tak, jak jsou vzájemně jednotlivé vědní oblasti a obory propojeny. Bubliny jsou interaktivní, po kliknutí na vybraný obor se přesune do středu a překreslí se související obory. Názorně je také vidět, jakým způsobem spolu obory spolupracují, zda je interakce obousměrná nebo pouze jednostranná, barvou je zobrazena též míra spolupráce. Tu lze velmi dobře odvodit, pokud použijeme nástroj pro hustotu okolní sítě, který je umístěn nad prohlížečem vpravo vedle rolovací lišty určené pro rychlý výběr vědní oblasti.

Na obr. 4 je zobrazeno okolí informační vědy. Nejsilnější a obousměrné vazby má obor zcela logicky s počítačovou vědou a s oborem zabývajícím se médii a komunikací. Výrazná spolupráce je naznačena také mezi obchodem a managementem. Obory, které si klasicky „půjčují“ metody informační vědy, např. medicína, biologie a další, jsou zobrazeny s jednostrannou vazbou.

Interaktivní prohlížeč v pravé části nabízí detailnější popis oblasti, udává velikost oblasti počtem časopisů a mírou provozu a uvádí deset nejlepších časopisů. „Interactive Browser“ je velmi zajímavým vizualizačním nástrojem, který zpracovává data do takových výstupů, které se dříve dolovaly z databází velmi složitými metodami, díky němu se je schopen běžný uživatel velmi rychle orientovat v síti vědy.

Motion Charts

Obr. 5: Motion Charts [zdroj: http://eigenfactor.org]

Pro analýzu vývoje jednotlivých vědních disciplín a časopisů, které se v daném oboru publikují, je určen nástroj „Motion Charts“. Názorně zobrazuje situaci časopisu v průběhu let, jak narůstal jeho objem. Do tabulky můžeme zařadit buď nejlepší časopisy (10, 25 nebo 50), nebo časopisy z konkrétního oboru. Každá bublina zobrazuje jeden časopis, jehož poloha v grafu je určena volitelným kritériem – v případě obr. 5 je to AI a celkový počet článků. Volit však můžeme ze šesti ukazatelů: celkový počet článků, AI, ES, Eigenvector, celkový počet citací, impakt faktor. Zvolit můžeme taktéž barvu bublin, a to podle výše uvedených ukazatelů, podle vědní oblasti (vhodné v případě zkoumání nejlepších časopisů bez ohledu na obor) nebo podle názvu časopisu či ISSN. Samozřejmě je k dispozici volba stejné barvy pro všechny bubliny. Velikost bubliny je taktéž dána vybraným ukazatelem, na obr. č. 5 jsou vykresleny podle AI, opět můžeme volit mezi konstantní velikostí nebo vykreslení podle šesti výše zmíněných ukazatelů.

Vývoj lze pak sledovat pomocí časové osy, která je umístěna pod tabulkou. Osa je interaktivní – buď posuneme ukazatel do požadovaného roku, nebo lze využít tlačítka play (vlevo od osy), které spustí animaci vývoje za uvedená léta.

Závěr

Portál Eigenfactor.org je velmi zajímavý projekt, který dává běžnému uživateli do rukou takové nástroje, že dokáže bez problémů interpretovat a využít pro svou potřebu data, která dosud byla ukryta v citačních databázích. Knihovník tak pro svou knihovnu již nemusí provádět či zadávat finančně i časově náročné analýzy, ale je schopen tato souhrnná data získat sám. Samozřejmě si musíme uvědomit, že pracujeme s omezeným výběrem dat, jak však již bylo dříve zjištěno, vzory ve vědní komunikaci výrazně neovlivní zahrnutí okrajových zdrojů, nehledě na to, že časopisům a jejich impakt faktorům je v dnešní době stále přičítán velký význam. Velmi zajímavé by bylo zahrnutí dat z citační databáze Scopus, která disponuje odlišnými daty, stejně tak jako porovnání H-indexu s indikátory tohoto portálu. Doufejme, že se tento projekt nepozastaví a nadále budeme moci sledovat názorně vývoj jednotlivých disciplín i další výstupy, které portál poskytuje.