Sféra výzkumu je velice zajímavý kout našeho světa. Je to kout důležitý pro další rozvoj země, který se neobejde bez výrazné finanční podpory státu, kde posuzování kvality velké části výsledků není možno svěřit neviditelné ruce trhu. A jde také bohužel o kout, který širší veřejnost moc nezajímá a jehož fungování moc nerozumí.

Poslední roky se hodně věnuji problematice hodnocení a financování vědy. Je to fascinující svět, ale obtížně se o něm na všeobecném blogu, jako je tento, poutavě píše. Aby se totiž člověk dostal k jádru nějakého problému či zajímavosti, musí čtenářům vysvětlit nepřebernou řadu často suchých skutečností. A kdo by se tím vším prokousával, že ano? Tato překážka, ale zároveň potřeba o těchto věcech psát, mě vedly k založení paralelního blogu zaměřeného pouze a právě na zajímavosti z oblasti hodnocení a financování vědy. Pokaždé, když tam něco napíší si říkám, zda by to mohlo zajímat i čtenáře Aktualne.cz. Tentokrát jsem se to rozhodl vyzkoušet. Zde je tedy drobně upravený původní text.

Citační bratrstva
O tom, jak obtížné je zhodnotit vědecký výsledek jsem psal před časem zde. I proto se k hodnocení používají bibliometrické nástroje, které odhalují jaký citační ohlas ten který vědecký článek nebo časopis má. Z citačního ohlasu se nepřímo usuzuje na význam, objevnost a přínosnost. Není to samozřejmě žádná sláva, ale lepší něco než nic.

S rozmachem bibliometrie, jako nástroje odhadování kvality vědeckých výsledků, však rostou mezi vědeckou komunitou motivace k účelovému chování. Rozmáhá se totiž účelové sebecitování. Začíná to primitivně tím, že vědci citují sebe sama (sebecitace autorů). Pokračuje to editory vědeckých časopisů, kteří autory článků tlačí, aby citovali starší články v jejich časopise (sebecitace časopisů). Dnes se praktikuje i pokročilá sofistikovanější verze, kdy se bratrstva časopisů citují záměrně a intenzivně navzájem (citační bratrstva). Uměle tak zvyšují citovanost, která se používá jako měřítko vědeckého ohlasu. Jako exemplární dnes rozeberu příklad litevských akademických "ekonomů". Ale podobné chování už nacházíme i u nás v Česku.

Jak to v branži chodí
Než se podíváme na kobylku litevských časopisů, uvedu krátký úvod pro čtenáře neobeznámené s tím, jak to v oboru ekonomie ve světě chodí. Výsledky špičkového akademického výzkum v oborech ekonomie, finance a podnikání se publikují téměř výhradně formou článků v impaktovaných časopisech (v databázi Web of Knowledge firmy Thomson Reuters). Takových časopisů na světě existují více než tři stovky. Mezi nimi existují obrovské rozdíly v renomé, náročnosti a čtenosti. Publikovat článek v cca top-50 časopisech je pro každého vědce obrovským vědeckým úspěchem. Vědci, kteří se kvalitou svého výzkumu do těchto časopisů dokáží prosazovat opakovaně, dostávají na katedrách špičkových světových univerzit definitivy s platy mnoha set tisíc dolarů ročně (miliony korun ročně). A z těch nejlepších, když vydrží publikovat desítky let a navíc objeví něco v oboru převratného, se rekrutuje naprostá většina nositelů Nobelovy ceny za ekonomii.

Renomé, náročnost a čtenost časopisů, jak jsou vnímané akademickou komunitou, korelují s tzv. impakt faktorem časopisu IF. Mezi špičkové renomované časopisy tak například patří:

#1: Quarterly Journal of Economics (IF=5.9),
#2: Review of Economic Studies (IF=3.1)
#3: Journal of European Economic Association (IF=1.7).

Řadí se podle IF na druhé, 15. a 51. místo mezi více než třemi stovkami ekonomických impaktovaných časopisů. Nevím mimochodem o vědci z celého post-komunistického bloku, nejen z ČR, kdo by v uvedených prestižních časopisech v nedávné době dokázal něco publikovat.

Mezi impaktovanými je však i spousta časopisů nenáročných na kvalitu a objevnost publikovaného výzkumu, s velmi nízkou čteností a minimálním mezinárodním citačním ohlasem. V řadě případů jde o národní časopisy zabývající se ryze místními otázkami s malým mezinárodním přesahem. Jejich redakční rady jsou složeny z akademiků lokálních univerzit, které publikují výzkum jinde nepublikovatelný. Výjimky samozřejmě existují, takže pozor na paušalizace.

Pravda o litevském citačním bratrstvu ekonomů
A teď se podívejme do Litvy. Vydávají tam v oboru ekonomie pět pozoruhodných impaktovaných časopisů:

#1: Technological and Economic Development of Economy (IF=5.6;vydává Vilnius Gemidas Tech U)
#2: International Journal of Strategic Property Management (IF=2.6; vydává dtto)
#3: Journal of Business Economics and Management (IF=3.9; vydává dtto)
#4: Transformations in Business & Economics (IF=1.6; vydává Vilnius Univ)
#5: Inzinerine Ekonomika-Engineering Economics (IF=2.2; vydává Kaunas Univ Technol)

Posuzováno slepě podle IF, patří tato pětka litevských výtečníků do světové extratřídy a zastávají na žebříčku vysoké pozice: třetí, 24. 7. 54. a 32. místo.Pravda je však taková, že tyto litevské časopisy jsou mezinárodně bezvýznamné a publikují články vědecké hodnoty často blízké nule. Svět je téměř nečte a mají tam minimální ohlas. Publikovat v nich článek pochybného vědeckého obsahu není obtížné. Pouze se v článku musí objevit hodně citací dalších čtyř litevských časopisů. Právě intenzivním vzájemným citováním pěti litevských časopisů dosahují extrémně vysokých impakt faktorů. Není těžké to odhalit.

Litevské časopisy dosahují vysokých IF extrémně vysokou sebecitovaností: 24%, 40%, 32%, 47%, 62%. To kontrastuje s minimální sebecitovaností skutečně renomovaných časopisů: 3%, 2%, 3%. To ale není zdaleka vše. Sebecitovanost litevských časopisů je ještě vyšší, pokud zahrneme i citace časopisu ze čtyř spřátelených litevských: 67%, 70%, 80%, 90%, 92%. Díky této sebecitační praxi je vypovídací hodnota IF o kvalitě časopisu nulová.

Nesvádějme ale vinu na bibliometrii. Na vině je ten, kdo jí hloupě používá. Existují řada alternativních ukazatelů, které jsou méně náchylné na citační manipulace než je IF. Například tzv. eigenfactor řadí litevské časopisy správně až na pořadí 144, 184, 171, 185, 190. Renomované světové časopisy řadí eigenfactor na místa 4, 6, 15, což skutečně odpovídá jejich reálné kvalitě, ohlasu a renomé.



Dobrý sluha špatný pán
Bibliometrie je tedy dobrý sluha a špatný pán. Odvrhnout jí by bylo stejně nemoudré jako jí bezmezně věřit. S bibliometrií se prostě musí nakládat obezřetně jako s ostrým nožem nebo kyselinou. Proto bibliometrie představuje informační podporu moderních způsobů hodnocení formou peer-review, kterým se proto říká informované peer-review. Bibliometrické informace, se kterými hodnotící komise pracují, však musí odfiltrovat výše uvedené účelové sebecitační praktiky všech tří řádů a vždy se na ně musí podívat lidské oko a lidský rozum.

Kafemlejnková služba
Tento blog ozřejmuje jeden z řady nedostatků kafemlejnku, což je již zavedený, oprávněné poněkud hanlivý neformální název způsobu hodnocení vědeckých výsledků v ČR. Slepé používání IF pro určení bodového, a tedy finančního ohodnocení článku v impaktovaném časopise, vede k řadě absurdních ocenění řady vědecky bezcenných a nevýznamných článků. A kafemlejnkovému hodnocení se již česká akademická komunita pomalu přizpůsobuje. Rozmáhají se účelové sebecitační praktiky, které pozorujeme v Litvě a vědci také začínají své články posílat do časopisů litevského typu.

Přitom články v impaktovaných časopisech představují jediný druh výsledku, jejichž kusy kafemlejnek primitivně nesčítá, ale snaží se pomocí hodnoty IF zohlednit kvalitu. Metodikou je většina bodů v celkovém Hodnocení přidělována právě za tento druh výsledku. Touto skutečností argumentují obhájci kafemlejnku, když jsou konfrontováni s řadou jeho nedokonalostí a absurdností. Citační manipulace však postupně degradují i hodnocení impaktovaných článků.

Smrtící koktejl pro ekonomy
V některých oborech, jako je například ekonomie a další společenské vědy a nejen ty, již degradace IF propukla naplno i v ČR. Například český ekonomický časopis Zemědělská ekonomika to se sebecitovaností přehnal tak, že byl z databáze WoS vyřazen. Přechodně tak nejdříve jeho zařazení zvýšilo počet českých impaktovaných článků v oboru ekonomie o třetinu, aby s jeho pozdějším vyřazením opět o třetinu poklesl [více zde: 1 | 2 ]. Některé domácí ekonomické časopisy, ale nejen tyto, praktikují nepřirozeně vysokou sebecitovanost. Kafemlejnek navíc v oboru ekonomie rozdává za články v impaktovananých časopisech pouze 1/4 bodů. Zbývající 3/4 uděluje ještě zoufalejším způsobem za mnohdy ještě podivnější vědecké výsledky. Pro tento obor je to smrtící koktejl.

Paradoxně s tím u nás již roky nikdo nic nedělá. Na vládní Radu pro řízení výzkumu sice došla v posledních letech řada upozornění a dokonce řada návrhů, jak tento problém alespoň částečně ošetřit, ale nestalo se nic. Řada vysokých škol, které se Metodiky držet nemusí a mohly by její absurdity eliminovat, včetně problémů se slepým používáním impakt faktoru, bodové hodnocení vlády polykají i s navijákem.

Pokud víte o podobných případech citačních praktik ve svých oborech u nás a v zahraničí, neváhejte zde přidat komentář nebo mi napsat.