Citační mafie
Tento článek měl původně být krátkým úvodem k malé analýze sebecitačních praktik některých českých vědeckých časopisů. Ale úvod jsem nakonec pojal nějak hodně ze široka, snad aby byla pointa o citační mafii srozumitelná i těm, kterým může být věda a výzkum šumák. Takže nebuďte překvapeni, jak rychle padá text z kosmu obecnosti do mikrokosmu detailu.
Auto je hračka
Vyrobit auto je z pohledu státu hračka. Stát totiž na výrobu v automobilkách nemusí nijak dohlížet. Maximálně snad na to, zda automobilka platí daně, chová se solidně k zaměstnancům a neničí moc životní prostředí. Stát automobilkám nedává na výrobu aut žádné peníze – tedy pokud někdo zrovna neprosadí šrotové či nějakou exportní podporu - a nemusí tedy ani složitě hodnotit, která automobilka vyrábí lepší, potřebnější a užitečnější auta. Za stát vše zařídí mnohými proklínaná agentka - neviditelná ruka trhu.
Když dělá automobilka svou práci dobře, auta se ziskem prodává a má nejen peníze na provoz, ale i na další vývoj a rozvoj. Když to dělá firma špatně, prodeje aut jí klesají, musí jít s cenou dolů a pokud vedení firmy včas nepřehodí výhybku tak zkrachuje nebo jí v lepším případě převezme jiná firma, která už tu výhybku na správnou kolej přehodí.
Výzkum není hračka
Pokud jde o výzkum, a ten základní především (dále výzkum), je agentka neviditelná ruka trhu v koncích a stát je postaven před velký probléme jak má kvalitu a smysluplnost výzkumné činnosti zajistit.
Výsledkem výzkumu jsou většinou nové poznatky, jejichž kvalitu a užitečnost neprověří jejich prodejnost u zákazníků, ale stávají se společnou znalostí lidstva. Výzkum tedy musí financovat státy, protože to za ně nikdo soukromě neudělá. Někdo jistě utrousí, že když je to tak, potom ta špetka českého výzkumu světové poznání nespasí a výzkum přestaňme financovat.
Jenomže věc není tak prostá. Kvalitní základní výzkum dělá a ze světa přitahuje špičkové vědce. Ti na vysokých školách a ústavech nejen bádají, ale předávají své jedinečné poznatky a zkušenosti studentům, z nichž většina je potom již aplikuje komerčně v soukromým firmách pro zcela praktické účely, třeba v již zmíněných automobilkách. Kromě toho základní výzkum jako magnet přitahuje výzkum aplikovaný a inovace. Není proto náhodou, že nejlepší základní výzkum na světě se dělá na amerických univerzitách, které jsou zároveň nejšpičkovější i z pohledu nabízeného studia a významně se podílí na vzniku inovací.
Pokud by stát začal považovat základní výzkum za nepotřebnou třešničku na dortu, a přestal ho financovat, velice záhy by se to skryto našim nedokonalým zrakům promítlo do klesající kvality vysokoškolského vzdělání, do zpomalení technologického pokroku v průmyslu a do chodu společnosti, a v konečném důsledku do snížené kvality života v celé zemi.
Má-li však stát základní výzkum financovat, musí umět rozlišit mezi kvalitním a nekvalitním, mezi více a méně smysluplným. Jinak bude vyhazovat peníze komínem. Při hodnocení výzkumu však státu žádný trh nepomůže. V Česku se donedávna výsledky základního výzkumu nehodnotily téměř vůbec a to co se za hodnocení vydávalo s tím mělo jen málo společného. Protože se prostředky státu na vědu i tak vždy „nějak“ rozdělily, není divu že výsledky českého výzkumu nejsou až na výjimky ve světovém srovnání nijak oslnivé.
Citace místo neviditelné ruky
Aby stát peníze na vědu rozděloval alespoň trochu smysluplně a vedlo to k nějakým výsledkům, neměl by je sypat z helikoptéry a měl by mít k ruce alespoň nějaké hodnocení výzkumných výsledků, byť nebude zdaleka tak dokonalé jako jinde umí zařídit neviditelná ruka trhu.
V poměrně zoufalé situaci se jako nástroj hodnocení kvality a relevantnosti výzkumu nabízí renomé vědeckých časopisů. Prestižní vědecké časopisy si své renomé bedlivě hlídají tím, že velmi přísně a bez protekce vybírají z článků, které jim vědci zasílají k otištění. Prestižní časopisy tak odmítají 90 i více procent toho, co je jim zasláno. Ačkoliv v akademické komunitě o rozdílném renomé časopisů existuje dobré povědomí a jakási shoda, hodnocení výsledků si říká o nějaký konkrétnější kvantitativní ukazatel.
Ukazatele jsou založeny na ohlasu, který ten který časopis v delším období v akademické komunitě otištěnými články vyvolává. Jako měřítko ohlasu se mimo jiných bere tzv. impact faktor, který vyjadřuje jak velký je citační ohlas na průměrný článek v časopise otištěném. Není to sice žádný vrchol dokonalosti, ale při té bídě co se pro hodnocení výsledků výzkumu nabízí je to dobré dost a dost.
Citační měřítka fungují pro hodnocení poměrně dobře, pokud je zajištěno, že redakce nepřipouští protekční přijímání článků a uměle nezvyšuje citovanost svého časopisu. To je poměrně dobře zajištěno u prestižních světových časopisů, kde by podobná praxe ohrožovala to nejcennější co redakce hlídá - renomé časopisu.
Impakt faktor časopisu bylo jako kvalitativní měřítko zavedeno i do nového systému hodnocení výsledků výzkumu v Česku. Jaksi jsme přitom mimo jiné zapomněli, že takové měřítko může nejen dobrý sluha ale i špatný pán. Ne u všech časopisů lze totiž spoléhat na to, že budou mít dostatečnou motivaci střežit si své renomé.
Český rybník
V Česku existuje kolem 30 časopisů u nichž se celosvětově citovanost a citační ukazatele sledují (databáze Web of Science f. Thomson Reuters). Jen některé z nich mají světové renomé. Když dodáme, že se v Česku podle citovanosti časopisu kde vědci publikují začínají rozdělovat státní peníze, je nasnadě že vznikají velké motivace k umělému zvyšování sebecitovanosti.
Záměrnost zvyšování citovanosti se samozřejmě prokazuje obtížně. Nepřímou indicií je velmi vysoký podíl autocitací, který není v oboru obvyklý a prudké nárůsty sebecitovanosti.
Pěkný vhled do světa citovanosti a hlavně sebecitovanosti českých časopisů v oboru ekonomie představil nedávno Pinus – Jaroslav Borovička (studující na University of Chicago – jedné z neprestižnějších ekonomických kateder na světě - kde se urodí laureát Nobelovy ceny za ekonomii častěji než se v Česku volí prezident).
Pinus například píše: ....kvalitní časopisy mají podíl časopisových autocitací na všech impaktovaných citacích obvykle nižší než 0,1. Pokud se jedná o regionální časopis, který je zároveň oborový, tak bychom chtěli mít tento podíl možná někde kolem 0,2-0,3. Česká realita je však mnohem horší. Rozumným kritériím se přibližuje Finance a úvěr. Politická ekonomie kolísá kolem 0,7, v posledních letech se jí přiblížil Ekonomický časopis. Korunu všemu nasadila nová Zemědělská ekonomika, která má ostudný podíl časopisových autocitací na úrovni 0,93. To již nemá nic společného s vědeckou prací, ale spíše s citační mafií.

Bylo by myslím zajímavé se v obdobném detailu podívat i na další české a jim spřátelené slovenské časopisy v dalších oborech. Je záhodno co nejdříve u nás začít používat impakt faktor očištěný od sebecitací časopisu, který f.Thomson Reuters běžně publikuje nebo použít nějaký ještě méně manipulovatelný index jako je například eigenfactor. Musíme být připraveni, že některé místní časopisy se časem dohodnou na vzájemné citovanosti. Potom asi nezbude než tyto citační praktiky podrobit podrobnému dohledu a některé časopisy z hodnocení prostě zcela vyřadit.
Jinak bude nakonec skutečně lepší výzkum u nás přestat financovat. Automobilky sice kvůli tomu asi neutečou, ale jejich auta si budou kupovat tam, kde na ně budou mít peníze. A na vysokou školu bude lepší odjet někam do zahraničí, kde se dobře učí protože tam stát umí dobrý výzkum financovat.
Auto je hračka
Vyrobit auto je z pohledu státu hračka. Stát totiž na výrobu v automobilkách nemusí nijak dohlížet. Maximálně snad na to, zda automobilka platí daně, chová se solidně k zaměstnancům a neničí moc životní prostředí. Stát automobilkám nedává na výrobu aut žádné peníze – tedy pokud někdo zrovna neprosadí šrotové či nějakou exportní podporu - a nemusí tedy ani složitě hodnotit, která automobilka vyrábí lepší, potřebnější a užitečnější auta. Za stát vše zařídí mnohými proklínaná agentka - neviditelná ruka trhu.
Když dělá automobilka svou práci dobře, auta se ziskem prodává a má nejen peníze na provoz, ale i na další vývoj a rozvoj. Když to dělá firma špatně, prodeje aut jí klesají, musí jít s cenou dolů a pokud vedení firmy včas nepřehodí výhybku tak zkrachuje nebo jí v lepším případě převezme jiná firma, která už tu výhybku na správnou kolej přehodí.
Výzkum není hračka
Pokud jde o výzkum, a ten základní především (dále výzkum), je agentka neviditelná ruka trhu v koncích a stát je postaven před velký probléme jak má kvalitu a smysluplnost výzkumné činnosti zajistit.
Výsledkem výzkumu jsou většinou nové poznatky, jejichž kvalitu a užitečnost neprověří jejich prodejnost u zákazníků, ale stávají se společnou znalostí lidstva. Výzkum tedy musí financovat státy, protože to za ně nikdo soukromě neudělá. Někdo jistě utrousí, že když je to tak, potom ta špetka českého výzkumu světové poznání nespasí a výzkum přestaňme financovat.
Jenomže věc není tak prostá. Kvalitní základní výzkum dělá a ze světa přitahuje špičkové vědce. Ti na vysokých školách a ústavech nejen bádají, ale předávají své jedinečné poznatky a zkušenosti studentům, z nichž většina je potom již aplikuje komerčně v soukromým firmách pro zcela praktické účely, třeba v již zmíněných automobilkách. Kromě toho základní výzkum jako magnet přitahuje výzkum aplikovaný a inovace. Není proto náhodou, že nejlepší základní výzkum na světě se dělá na amerických univerzitách, které jsou zároveň nejšpičkovější i z pohledu nabízeného studia a významně se podílí na vzniku inovací.
Pokud by stát začal považovat základní výzkum za nepotřebnou třešničku na dortu, a přestal ho financovat, velice záhy by se to skryto našim nedokonalým zrakům promítlo do klesající kvality vysokoškolského vzdělání, do zpomalení technologického pokroku v průmyslu a do chodu společnosti, a v konečném důsledku do snížené kvality života v celé zemi.
Má-li však stát základní výzkum financovat, musí umět rozlišit mezi kvalitním a nekvalitním, mezi více a méně smysluplným. Jinak bude vyhazovat peníze komínem. Při hodnocení výzkumu však státu žádný trh nepomůže. V Česku se donedávna výsledky základního výzkumu nehodnotily téměř vůbec a to co se za hodnocení vydávalo s tím mělo jen málo společného. Protože se prostředky státu na vědu i tak vždy „nějak“ rozdělily, není divu že výsledky českého výzkumu nejsou až na výjimky ve světovém srovnání nijak oslnivé.
Citace místo neviditelné ruky
Aby stát peníze na vědu rozděloval alespoň trochu smysluplně a vedlo to k nějakým výsledkům, neměl by je sypat z helikoptéry a měl by mít k ruce alespoň nějaké hodnocení výzkumných výsledků, byť nebude zdaleka tak dokonalé jako jinde umí zařídit neviditelná ruka trhu.
V poměrně zoufalé situaci se jako nástroj hodnocení kvality a relevantnosti výzkumu nabízí renomé vědeckých časopisů. Prestižní vědecké časopisy si své renomé bedlivě hlídají tím, že velmi přísně a bez protekce vybírají z článků, které jim vědci zasílají k otištění. Prestižní časopisy tak odmítají 90 i více procent toho, co je jim zasláno. Ačkoliv v akademické komunitě o rozdílném renomé časopisů existuje dobré povědomí a jakási shoda, hodnocení výsledků si říká o nějaký konkrétnější kvantitativní ukazatel.
Ukazatele jsou založeny na ohlasu, který ten který časopis v delším období v akademické komunitě otištěnými články vyvolává. Jako měřítko ohlasu se mimo jiných bere tzv. impact faktor, který vyjadřuje jak velký je citační ohlas na průměrný článek v časopise otištěném. Není to sice žádný vrchol dokonalosti, ale při té bídě co se pro hodnocení výsledků výzkumu nabízí je to dobré dost a dost.
Citační měřítka fungují pro hodnocení poměrně dobře, pokud je zajištěno, že redakce nepřipouští protekční přijímání článků a uměle nezvyšuje citovanost svého časopisu. To je poměrně dobře zajištěno u prestižních světových časopisů, kde by podobná praxe ohrožovala to nejcennější co redakce hlídá - renomé časopisu.
Impakt faktor časopisu bylo jako kvalitativní měřítko zavedeno i do nového systému hodnocení výsledků výzkumu v Česku. Jaksi jsme přitom mimo jiné zapomněli, že takové měřítko může nejen dobrý sluha ale i špatný pán. Ne u všech časopisů lze totiž spoléhat na to, že budou mít dostatečnou motivaci střežit si své renomé.
Český rybník
V Česku existuje kolem 30 časopisů u nichž se celosvětově citovanost a citační ukazatele sledují (databáze Web of Science f. Thomson Reuters). Jen některé z nich mají světové renomé. Když dodáme, že se v Česku podle citovanosti časopisu kde vědci publikují začínají rozdělovat státní peníze, je nasnadě že vznikají velké motivace k umělému zvyšování sebecitovanosti.
Záměrnost zvyšování citovanosti se samozřejmě prokazuje obtížně. Nepřímou indicií je velmi vysoký podíl autocitací, který není v oboru obvyklý a prudké nárůsty sebecitovanosti.
Pěkný vhled do světa citovanosti a hlavně sebecitovanosti českých časopisů v oboru ekonomie představil nedávno Pinus – Jaroslav Borovička (studující na University of Chicago – jedné z neprestižnějších ekonomických kateder na světě - kde se urodí laureát Nobelovy ceny za ekonomii častěji než se v Česku volí prezident).
Pinus například píše: ....kvalitní časopisy mají podíl časopisových autocitací na všech impaktovaných citacích obvykle nižší než 0,1. Pokud se jedná o regionální časopis, který je zároveň oborový, tak bychom chtěli mít tento podíl možná někde kolem 0,2-0,3. Česká realita je však mnohem horší. Rozumným kritériím se přibližuje Finance a úvěr. Politická ekonomie kolísá kolem 0,7, v posledních letech se jí přiblížil Ekonomický časopis. Korunu všemu nasadila nová Zemědělská ekonomika, která má ostudný podíl časopisových autocitací na úrovni 0,93. To již nemá nic společného s vědeckou prací, ale spíše s citační mafií.

Míra sebecitovanosti časopisů
Bylo by myslím zajímavé se v obdobném detailu podívat i na další české a jim spřátelené slovenské časopisy v dalších oborech. Je záhodno co nejdříve u nás začít používat impakt faktor očištěný od sebecitací časopisu, který f.Thomson Reuters běžně publikuje nebo použít nějaký ještě méně manipulovatelný index jako je například eigenfactor. Musíme být připraveni, že některé místní časopisy se časem dohodnou na vzájemné citovanosti. Potom asi nezbude než tyto citační praktiky podrobit podrobnému dohledu a některé časopisy z hodnocení prostě zcela vyřadit.
Jinak bude nakonec skutečně lepší výzkum u nás přestat financovat. Automobilky sice kvůli tomu asi neutečou, ale jejich auta si budou kupovat tam, kde na ně budou mít peníze. A na vysokou školu bude lepší odjet někam do zahraničí, kde se dobře učí protože tam stát umí dobrý výzkum financovat.