Před měsícem jsem na stránce Hospodářských novin (HN 31.5.) článkem Extraliga české akademické ekonomie inicioval veřejnou debatu o hodnocení výsledků českého akademického výzkumu v oboru ekonomie a svým způsobem i ve většině dalších vědních oborů. HN posléze otiskly zásadní reakce Roberta Holmana a Rudolfa Hanky.

Oba články vznesly důležité otázky, které mě vedly k sepsání druhého dílu původního článku - díl druhý. To, co se do druhého dílu nevešlo (vyvrácení podezření z účelové konstrukce měřítek kvality a odpovědi na řadu drobných otázek Roberta Holmana) uvádím zde.


Robert Holman: Münichův žebříček: jak neměřit ekonoma
(mé odpovědi na otázky kladené R.Holmanem jsou psané v textu kurzívou)

Reaguji na článek Daniela Münicha Extraliga české akademické ekonomie (HN 31. května). Souhlasím s autorem, že publikace v časopisech s tzv. impakt faktorem jsou důležitým kritériem kvality ekonomického výzkumu. Avšak pro komplexnější hodnoceni se nelze omezit jen na ně. Pokusím se čtenářům ukázat, že Münichovo hodnocení českých ekonomů je zjednodušené a subjektivní.

Jak by asi dopadl Coase?
Prvním nedostatkem je hodnocení ekonomů pouze podle článků v časopisech s impakt faktorem. Daniel Münich sám uvádí, že časopis získává impakt faktor na základě počtu odkazů na jeho články: "Impakt faktor se počítá jako průměrný počet odkazů na průměrný článek během dvou let poté, co článek vyšel."
To ale znamená, že konečným kritériem kvality publikací jsou citace, impakt faktor je jen jejich odrazem. V tom případě není jasné, proč Daniel Münich jako hodnotící měřítko nepoužil také citační indexy ekonomů. Citace ekonoma přece je a odjakživa byla základem pro hodnoceni ekonomů a jejich přínosu do ekonomické vědy.
Například nositel Nobelovy ceny za ekonomii Ronald Coase napsal během své kariéry jen několik článků, ale je nejcitovanějším ekonomem na světě. Kdyby se ale jeho dílo hodnotilo jen podle počtu publikací v časopisech s impakt faktorem, zřejmě by se v žebříčcích umístil níže než leckterý pilný, ale ne příliš originální ekonom.
Problém s citacemi objasňuji v druhém díle článku pro iHNED. Nejenže v něm osvětluji proč jsem původně citační indexy nepoužil, ale také detailněji vysvětluji svou skepsi vůči běžným citačním indexům. Míru skepse se mnou samozřejmě nemusí každý sdílet, ale určitě neplatí závěr R.Holmana, že “…konečným kritériem kvality publikací jsou citace … Citace ekonoma přece odjakživa byla základem hodnocení ekonomů a jejich přínosu ekonomické vědy.” Hodnocení superstar a výjimečných osobností typu Ronalda Coase a dalších nobelistů je něco jiného než hodnotit řadové ekonomy, jako jsou ti čeští.

Nebo si vezmeme knižní publikace. Když někdo napíše knihu, která je ekonomickou obcí široce citována, cožpak to není měřítkem kvality a odbornosti takové knihy? Daniel Münich se k věci postavil velmi zvláštně, když napsal: "Ani publikování knih, až na čestné výjimky, není měřítkem úspěchu." Ale kdo a podle čeho ohodnotí takové čestné výjimky? Nedělá se to snad opět na základě citací? A proč by potom ekonomové vůbec měli psát knihy, kdyby se nepočítaly do hodnocení kvality jejich práce?
Zde si R.Holman svou druhou otázkou sám odpovídá na otázku první. Hodnotit knihy je velice komplikované. Pokud se chceme vyhnout systému hodnotících komisí, kde spříznění kolegové nebo naopak rivalové knihu subjektivně zhodnotí dobře nebo špatně, nezbývá nám než jako měřítko kvality renomé nakladatelství, kde kniha vyšla. Takto bychom ale s hodnocením českých ekonomů daleko nedošli, protože jim u renomovaných mezinárodních nakladatelství vyšlo knih jako šafránu. A ještě k těm čestným výjimkám: určitě jsou, ale jsou to výjimky protože se něčím vymykají. Na žádné solidní ekonomické katedře ve světě se při najímání nebudou ptát ekonoma na jeho knihy, ale na publikace v časopisech. V knihách, pokud je již ekonomové sepisují, zpravidla pouze na větším prostoru shrnují výsledky svého bádání již dříve otištěné v článcích v časopisech. Konečně účelem TOP25 nebylo postihovat výjimky, ale velkou skupinu obyčejných akademických ekonomů.

Proč jen anglicky?
Proč tedy raději nehodnotit ekonomy podle citačního indexu? Daniel Münich se s tím vypořádal až příliš jednoduše, když v článku napsal, že "citační analýza je náročnější na vytvoření podkladové databáze". Je-li citační analýza náročná, znamená to, že na ni máme rezignovat a vytvářet žebříčky ekonomů metodami jednoduchými, ale neúplnými? Cožpak lze hodnotit vědeckou práci jen podle jedné části citačního kritéria (impakt faktory) a jinou část (citační indexy) ignorovat? Taková metoda je dílčí a jednostranná. Postupuje takto seriózní vědec? Kdyby někdo použil jiné dílčí a jednostranné postupy hodnocení, mohl by sestavit takových žebříčků, kolik by chtěl, a pokaždé by se v nich objevili jiní lidé a v jiném pořadí. Jistě by to bylo zajímavé, vždyť - jak píše Daniel Münich - "jde o prestiž, vliv, ale i o peníze".
Skoro každý solidní výzkum končí přiznáním nedostatků a výčtem toho, co dále čeká na prozkoumání. Vinit mě z prohřešku je jako vyčítat americkým vědcům, že po úspěšném návratu pilotované lodi z měsíce zároveň neprozkoumali ještě Mars. Já jednoduše zatím nemám prostředky a čas, abych vytvořil obrovskou databázi, která je k solidní citační analýze zohledňující kvalitu citací potřeba.

Další zvláštností Münichovy metody je upřednostňování anglicky psaných časopisů před českými. Kvalita publikace přece není měřena znalostí angličtiny ale jejím přínosem pro ekonomickou vědu. Jestliže mají české ekonomické časopisy impakt faktor, nelze je z hodnoceni ekonoma vynechat. To by bylo nekonzistentní s tvrzením, že impakt faktor je kritériem kvality publikací. Je pravda, ze české časopisy mají užší okruh čtenářů, a tedy i menší počet citací. To se ale odráží už v jejich nízkém impakt faktoru. Není proto třeba ještě více snižovat jejich význam oproti anglicky psaným časopisům. Koneckonců, i v jiných zemích jsou ekonomické časopisy s impakt faktorem, které nejsou psány anglicky.
V původním článku otištěném v časopise Finance a úvěr, kde byl dostatečný prostor pro řadu variant a detailů je srovnání zahrnující česky psané články obsažené. Musím znovu připomenout, že podobná srovnání ekonomů v zahraničí by nejenže nezahrnula články v jiném než anglickém jazyce, ale brala by v úvahu pouze špičku prestižních časopisů a většinu těch, kde čeští ekonomové by do velké míry ignorovala. U nás to nejde jednoduše proto, že v těch prestižních časopisech z českých ekonomů skoro nikdo nepublikuje a nebylo by vlastně co a koho hodnotit.

Jak jsem dopadl já (R.Holman)
Musím se přiznat, že jsem se až dosud nezajímal o můj součet impakt faktorů. Teprve po přečtení Münichova článku jsem si jej spočítal. Vzal jsem své publikace v Politické ekonomii a Financích a úvěru od roku 1990 a vyšlo mně číslo 4,27. Proč jsem se tedy neumístil v Münichově žebříčku? Protože většina mých článků vyšla před rokem 1998, od kterého Daniel Münich svůj žebříček sestavoval. Ale proč ho sestavil právě od roku 1998? Proč ne třeba od roku 2001 nebo 1995? Že by období 1998 - 2005 vyplývalo z nějaké vědecké metody hodnocení? To asi sotva. Daniel Münich si prostě tento rok zcela arbitrárně zvolil. Kdyby si zvolil kterýkoli jiný rok, pokaždé by mu vyšel jiný žebříček.
Chápu, že extraligu tvoří hráči, kteří hrají teď, a nikoli v minulosti. Je to tak v tenise, kopané i šachu. Nicméně mě napadá otázka, jestli by nebylo smysluplnější - namísto vytváření žebříčků extraligy - vzít v úvahu jejich celkový dosavadní přínos pro ekonomii.
Období 1998-2005 jsem sice zvolil záměrně, avšak nikoliv náhodně a určitě jsem neměl v úmyslu nějak poškodit R.Holmana ani kohokoliv jiného. Ke zvolení časového intervalu jsem nepoužil žádné vědecké metody, ale prostou úvahu. Delší období totiž zmapoval již přede mnou F.Turnovec. Ačkoliv mám k jeho metodě vážení publikací zásadní výhrady - ostatně mě k tématu hodnocení vědy přivedly (a F.Turnovec tak má ode mě jednu kritickou, ale přesto cennou citaci), nemělo smysl mé srovnání s prací F.Turnovce příliš konfrontovat. Naopak jsem se více zaměřil na období bližší současnosti. R.Holman to vlastně pěkně popsal jako současnou (a nikoliv historickou) ligu. Sestavit historickou ligu je dle mého soudu nadlidský úkol. Lze snad srovnávat současnou fotbalovou Spartu s prvorepublikovu Slávií? Pokud se najde někdo, kdo se ujme obrovského úkolu zmapování dosavadního přínosů významných ekonomů, bude to jistě věc navýsost záslužná.
V případě všech ekonomů, kteří měli nějaké výhrady nebo pochyby o správnosti mnou uvedených údajů jsem se podíval do Web of Science(WoS) a detailně zkontroloval jejich údaje. Udělal jsem to tedy i v případě R.Holmana. Zjistil jsem následující: R.Holman v letech 1993 až 2005 publikoval celkem 15 článků, všechny česky a otištěné v jednom jediném časopise a to v Politické ekonomii. Do mnou mapovaného období 1998-2005 spadají pouze 3 z nich. Na 15 článků R.Holmana zaznamenává WoS pouze jedinou citace a to v neimpaktovaném slovenském časopise Ekonomický časopis v roce 2006 od málo známého slovenského ekonoma. H-index R.Holmana je tudíž roven jedné a ani díky citacím by se do TOP25 nedostal.