Humanitní vědy stále na odstřel?
Vládní Rada pro výzkum, vývoj a inovace již řadu let vyvíjí metodiku hodnocení vědy. Způsob, jak při tom zachází s humanitními vědami, je jenom těžko uvěřitelný. Nabobská bohorovnost, se kterou Rada mete ze stolu jakékoli poukazy na svá pochybení, přitom vzbuzuje otázku, zda to vše není jenom projevem názoru jejich členů, že humanitní vědy jsou pouze jakýmsi trapným přežitkem. Pokud tomu tak je, bylo by už načase, aby Rada vyložila karty na stůl a k tomuto názoru se otevřeně přihlásila.
Představte si, že někdo vymyslí nějaký úžasný nový systém evidence a výpočtu let odpracovaných na důchod. Dramaticky zjednoduší dosavadní administrativu, ušetří spoustu úředníků a peněz; celé to ale bude mít jednu drobnou vadu: pokud jste pracovali v podniku, jehož jméno začíná na "K", "L" nebo "M", nebude se vám doba, kterou jste tam byl zaměstnán, do důchodu započítávat. To se vám, pokud jste měl tu smůlu, že jste v takovém podniku skutečně pracoval, jistě nebude líbit - ale představte si, že na vaše protesty budou ti, kdo budou nový systém zavádět, stereotypně odpovídat tak, že nesmíte být líný pořádně pracovat, a pak se o důchod nemusíte strachovat.
Zní to absurdně, ale právě takhle funguje státní systém hodnocení vědy ve vztahu k humanitním vědám. Paní ministryně Kopicová dne 23. 12. v Právu o státní podpoře vědy sice konstatuje, že "po 17 letech se začaly tyto peníze rozdělovat nikoliv podle lépe či hůře napsaných plánů, ale podle skutečně dosažených výsledků" a naznačuje, že je to právě jenom tohle, čeho se vědci bojí (http://virtually.cz/?art=19953); avšak fakta, která uvádím níže, podle mne jasně ukazují, že vydávat čísla, která ze současného hodnocení vycházejí, za míru "skutečně dosažených výsledků", je v lepším případě totální nesoudnost a v horším případě projev snahy humanitní vědy prostě umořit. S kolegou Svobodou jsme na to již poukazovali v krátkém (a navíc dále ne příliš šťastně redakčně kráceném) článku v Hospodářských novinách (http://hn.ihned.cz/c1-39137830-kocourkovske-hodnoceni-vedy); tady bych chtěl celou situaci vyložit podrobněji.
Vládní Rada pro výzkum, vývoj a inovace (RVVI, předtím jen RVV, viz http://www.vyzkum.cz), která byla již pře lety pověřena vymyslet nějaký rozumný způsob hodnocení, se překvapivě nenechala inspirovat ve vyspělém světě, který se s tímto problémem potýká již dlouho, ale začala vymýšlet svůj vlastní způsob hodnocení, který měl být geniálně a bezprecedentně jednoduchý. Hodnocení vycházelo z tzv. impakt faktoru časopisu, což je, zjednodušeně řečeno, číslo, které udává míru citovanosti tohoto časopisu jinými časopisy. (Podrobně viz. http://thomsonreuters.com/products_services/science/free/essays/impact_factor/) Má se za to, že čím citovanější, tím lepší, a v čím citovanějším časopise publikujete článek, tím více bodů za něj dostanete. Řekněme hned, že využití impakt faktoru pro hodnocení není nesmyslné - impakt faktor je veličina, která je objektivně měřitelná a která přitom do nějaké míry skutečně odráží kvalitu časopisu. (Ztotožnění kvality s citovaností sice samozřejmě není neproblematické, je však třeba mít na paměti, že neproblematický však není žádný způsob hodnocení.)
Problémy však začnou, když se hodnocení založené na impakt faktorech vztáhne na humanitní vědy. (Vycházím z dělení věd na přírodní, společenské a humanitní, s jakým pracuje firma Thomson Reuters, z jejíchž výpočtů impakt faktorů hodnocení vychází.) Jedna potíž je v tom, že spousta podstatných výsledků v humanitních vědách je publikováno v knihách, pro které žádné impakt faktory stanovovány nejsou, a ani pro výpočty impakt faktorů časopisů nejsou brány v úvahu citace v knihách. Je tu ale ještě mnohem zásadnější problém: impakt faktory nejsou v rámci humanitních věd firmou Thomson Reuters, stanovovány ani pro časopisy. To neznamená, že tyto časopisy impakt faktory nemají, firma Thomson Reuters však má za to, že v případě humanitních věd nemají rozumnou vypovídající schopnost a nezveřejňuje je.
Výsledkem prvních pokusů RVV o zavedení metodiky bodování bylo, že zatímco člověk bádající v oblasti přírodních a společenských věd mohl, podle "Metodiky hodnocení výzkumu a vývoje a jejich výsledků v roce 2005", dostat za článek, pokud se mu ho podařilo publikovat v průměrně citovaném impaktovaném periodiku příslušného oboru, 10 bodů (v periodicích na špici citovanosti ještě podstatně více), v oblasti humanitních věd (kam podle klasifikace Thomson Reuters patří mj. archeologie, historie, lingvistika, či filosofie) to mohly být za časopisecký článek nejvýše 2 body a za knihu 10 bodů.
Na tuto diskriminaci humanitních věd jsme s kolegou Svobodou upozorňovali již když byl tento systém ještě v plenkách, v článku, který tehdy otiskly Hospodářské noviny (http://hn.ihned.cz/3-16998330-peregrin-500000_d-87). (Tím bych chtěl také vyvrátit často opakovaný názor, že vědci se bouří vždy až tehdy, když z nějakého hodnocení vyjdou špatně; v době, kdy jsme tento text psali ještě žádné výsledky k dispozici nebyly.) Reakce sekretáře RVV, pana doktora Blažky (podle všeho hlavního architekta reformy) byla symptomatická: http://hn.ihned.cz/2-17035390-500000_d-d4. Lze si přečíst i naši tehdejší reakci (http://hn.ihned.cz/3-17063130-peregrin-500000_d-fd), nicméně dnes již můžeme tehdejší argumenty pana Blažky zhodnotit ve zcela jasném světle. Hlavními dvěma argumenty, které tehdy měl, bylo:
1. "Nikdo nepochybuje o tom (a v Metodice hodnocení je to opakovaně konstatováno), že základem zůstává standardní způsob hodnocení - nezávislými oponenty, odbornými komisemi složenými z předních (a nepodjatých) vědců v daném oboru atd."
2. "Výsledky hodnocení 1. etapy (to je to "jediné číslo") slouží k jedinému účelu - zdvořilému dotazu: Vážení, tady nám něco nehraje, můžete nám to, prosím, vysvětlit?"
Jaká je dnes realita? Ono "jediné číslo", které je výsledkem hodnocení vědecké činnosti instituce, se zcela přímočaře promítá do jejího financování. Žádné "standardní způsoby hodnocení" do toho nevstupují a na žádná vysvětlování také není nikdo zvědavý. (Jak si tedy tehdejší reakci pana Blažky vyložit? Napadají mě tři možnosti: pan sekretář (a) neměl v roce 2005 absolutně ponětí, kam reforma skutečně směřuje; (b) věděl to velice dobře, ale lišácky tvrdil něco zcela jiného (prozaičtěji se takovému lišáctví říká lež); (c) napsal svůj tehdejší článek pod vlivem většího než malého množství omamných látek.)
Co se v oblasti hodnocení humanitních věd událo od doby naší tehdejší výměny názorů s panem Blažkou? Aplikace stále se vyvíjejících "Metodiky" zatím nevedla k jejich poškození; podle toho, jak byla nastavena kritéria za rok 2007, na tom dokonce byly humanitní vědy lépe, než asi kdokoli očekával. To bylo ovšem dáno tím, že tvůrci "Metodiky" narazili na problém, na který jsme upozorňovali v našem článku, totiž že způsob kvantifikace výsledků založený na impaktu prostě není možné na humanitní vědy aplikovat, a proto začali vymýšlet způsoby, jak potřebná čísla nějak 'nasimulovat'. Tak vznikl takzvaný "Seznam recenzovaným neimpaktovaných časopisů (periodik) vydávaných v České republice", do kterého se obskurním způsobem posbíraly všemožné časopisy a od zeleného stolu se stanovilo, že za článek v každém takovém časopise bude 10 bodů (přičemž za článek v průměrně citovaném impaktovaném časopise se v té době již dávalo 20 bodů).
Tato konkrétní čísla vedla jednak k tomu, že humanitní vědci dopadli dobře; na druhé straně ale vedla také k přesnému opaku toho, k čemu reforma hodnocení vědy vést měla: totiž k naprosté demotivaci dělat skutečně mezinárodně podstatný výzkum. Proč publikovat ve skutečně špičkových mezinárodních časopisech či nakladatelstvích, když stejný počet bodů dostanete za článek v periodiku lokálního významu?
Tímhle ale vše zdaleka nekončí. Problematičnost takovéhoto hodnocení humanitních věd nezůstala bez povšimnutí. Nicméně fakt, že v této podobě toto hodnocení vede k přesnému opaku toho, k čemu má reforma deklarativně směřovat (to jest vede k protěžování průměrnosti na úkor excelence), zřejmě ponechal RVVI klidnou; zneklidnil ji pouze fakt, že humanitní vědy z něho vycházejí lépe, než čekala. To vyřešila tím, že navýšila hodnocení toho, co považuje za nejvýznamnější mezinárodní výsledky.
Tady už ale nová verze "Metodiky", která bude uplatněna na výsledky počínaje rokem 2008, nabývá podobu skutečné frašky. Kromě článků v impaktovaných časopisech, za které se nyní uděluje až 305 bodů (za článek ve vybraných neimpaktovaných časopisech lze dostat maximálně 12 bodů, za knihu maximálně 40 bodů), nyní tvoří zcela zvláštní kategorii články ve třech časopisech, a to v Nature, Science a Proceedings of the National Academy of Sciences (USA), za které se přiděluje 500 bodů. Publikování v těchto časopisech je skutečně velmi prestižní záležitost; v podstatě se však omezují na texty z oblasti přírodních (a částečně společenských) věd.
Publikuje-li nějaký český přírodovědec článek v Nature, je to bezesporu velký úspěch, který jistě má být výrazně ohodnocen. Je to ale podstatnější výsledek, než když lingvista, historik nebo filosof publikuje mnohasetstránkovou knihu v prestižním mezinárodním nakladatelství? Zdá se mi, že kdo by chtěl trvat na kladné odpovědi na tuto otázku, projevil by se jako zaslepený jistým omezeným pojetím vědy. A byl by někdo (tedy mimo paní ministryně Kopicové ...) ochoten s vážnou tváří hájit názor, že, jak vyplývá ze současné verze "Metodiky", je jeden článek v Nature významnější výsledek, než když by zmíněný lingvista, historik nebo filosof publikoval takových knih dvanáct?
Myslím, že nějak rozumně hodnotit výsledky vědecké práce je v oblasti humanitních věd třeba snad ještě více než v ostatních vědních oblastech; někteří protagonisté těchto věd u nás totiž mají tendenci zaměňovat vědu s publicistikou či osvětou. "Metodika" RVVI však namísto toho, aby stimulovala vědecký výzkum skutečně mezinárodní úrovně, naopak stimuluje chrlení výsledků lokálního významu a tak ne úplně dobrý status quo zakonzervovává. Nemluvě o tom, že nabobská bohorovnost, se kterou RVVI mete ze stolu jakékoli poukazy na tyto nesmyslnosti, vzbuzuje otázku, zda to vše není jenom projevem názoru jejich členů, že humanitní vědy jsou pouze jakýmsi trapným přežitkem. Pokud tomu tak je, bylo by už načase, aby RVVI vyložila karty na stůl a k tomuto názoru se otevřeně přihlásila.
Představte si, že někdo vymyslí nějaký úžasný nový systém evidence a výpočtu let odpracovaných na důchod. Dramaticky zjednoduší dosavadní administrativu, ušetří spoustu úředníků a peněz; celé to ale bude mít jednu drobnou vadu: pokud jste pracovali v podniku, jehož jméno začíná na "K", "L" nebo "M", nebude se vám doba, kterou jste tam byl zaměstnán, do důchodu započítávat. To se vám, pokud jste měl tu smůlu, že jste v takovém podniku skutečně pracoval, jistě nebude líbit - ale představte si, že na vaše protesty budou ti, kdo budou nový systém zavádět, stereotypně odpovídat tak, že nesmíte být líný pořádně pracovat, a pak se o důchod nemusíte strachovat.
Zní to absurdně, ale právě takhle funguje státní systém hodnocení vědy ve vztahu k humanitním vědám. Paní ministryně Kopicová dne 23. 12. v Právu o státní podpoře vědy sice konstatuje, že "po 17 letech se začaly tyto peníze rozdělovat nikoliv podle lépe či hůře napsaných plánů, ale podle skutečně dosažených výsledků" a naznačuje, že je to právě jenom tohle, čeho se vědci bojí (http://virtually.cz/?art=19953); avšak fakta, která uvádím níže, podle mne jasně ukazují, že vydávat čísla, která ze současného hodnocení vycházejí, za míru "skutečně dosažených výsledků", je v lepším případě totální nesoudnost a v horším případě projev snahy humanitní vědy prostě umořit. S kolegou Svobodou jsme na to již poukazovali v krátkém (a navíc dále ne příliš šťastně redakčně kráceném) článku v Hospodářských novinách (http://hn.ihned.cz/c1-39137830-kocourkovske-hodnoceni-vedy); tady bych chtěl celou situaci vyložit podrobněji.
Vládní Rada pro výzkum, vývoj a inovace (RVVI, předtím jen RVV, viz http://www.vyzkum.cz), která byla již pře lety pověřena vymyslet nějaký rozumný způsob hodnocení, se překvapivě nenechala inspirovat ve vyspělém světě, který se s tímto problémem potýká již dlouho, ale začala vymýšlet svůj vlastní způsob hodnocení, který měl být geniálně a bezprecedentně jednoduchý. Hodnocení vycházelo z tzv. impakt faktoru časopisu, což je, zjednodušeně řečeno, číslo, které udává míru citovanosti tohoto časopisu jinými časopisy. (Podrobně viz. http://thomsonreuters.com/products_services/science/free/essays/impact_factor/) Má se za to, že čím citovanější, tím lepší, a v čím citovanějším časopise publikujete článek, tím více bodů za něj dostanete. Řekněme hned, že využití impakt faktoru pro hodnocení není nesmyslné - impakt faktor je veličina, která je objektivně měřitelná a která přitom do nějaké míry skutečně odráží kvalitu časopisu. (Ztotožnění kvality s citovaností sice samozřejmě není neproblematické, je však třeba mít na paměti, že neproblematický však není žádný způsob hodnocení.)
Problémy však začnou, když se hodnocení založené na impakt faktorech vztáhne na humanitní vědy. (Vycházím z dělení věd na přírodní, společenské a humanitní, s jakým pracuje firma Thomson Reuters, z jejíchž výpočtů impakt faktorů hodnocení vychází.) Jedna potíž je v tom, že spousta podstatných výsledků v humanitních vědách je publikováno v knihách, pro které žádné impakt faktory stanovovány nejsou, a ani pro výpočty impakt faktorů časopisů nejsou brány v úvahu citace v knihách. Je tu ale ještě mnohem zásadnější problém: impakt faktory nejsou v rámci humanitních věd firmou Thomson Reuters, stanovovány ani pro časopisy. To neznamená, že tyto časopisy impakt faktory nemají, firma Thomson Reuters však má za to, že v případě humanitních věd nemají rozumnou vypovídající schopnost a nezveřejňuje je.
Výsledkem prvních pokusů RVV o zavedení metodiky bodování bylo, že zatímco člověk bádající v oblasti přírodních a společenských věd mohl, podle "Metodiky hodnocení výzkumu a vývoje a jejich výsledků v roce 2005", dostat za článek, pokud se mu ho podařilo publikovat v průměrně citovaném impaktovaném periodiku příslušného oboru, 10 bodů (v periodicích na špici citovanosti ještě podstatně více), v oblasti humanitních věd (kam podle klasifikace Thomson Reuters patří mj. archeologie, historie, lingvistika, či filosofie) to mohly být za časopisecký článek nejvýše 2 body a za knihu 10 bodů.
Na tuto diskriminaci humanitních věd jsme s kolegou Svobodou upozorňovali již když byl tento systém ještě v plenkách, v článku, který tehdy otiskly Hospodářské noviny (http://hn.ihned.cz/3-16998330-peregrin-500000_d-87). (Tím bych chtěl také vyvrátit často opakovaný názor, že vědci se bouří vždy až tehdy, když z nějakého hodnocení vyjdou špatně; v době, kdy jsme tento text psali ještě žádné výsledky k dispozici nebyly.) Reakce sekretáře RVV, pana doktora Blažky (podle všeho hlavního architekta reformy) byla symptomatická: http://hn.ihned.cz/2-17035390-500000_d-d4. Lze si přečíst i naši tehdejší reakci (http://hn.ihned.cz/3-17063130-peregrin-500000_d-fd), nicméně dnes již můžeme tehdejší argumenty pana Blažky zhodnotit ve zcela jasném světle. Hlavními dvěma argumenty, které tehdy měl, bylo:
1. "Nikdo nepochybuje o tom (a v Metodice hodnocení je to opakovaně konstatováno), že základem zůstává standardní způsob hodnocení - nezávislými oponenty, odbornými komisemi složenými z předních (a nepodjatých) vědců v daném oboru atd."
2. "Výsledky hodnocení 1. etapy (to je to "jediné číslo") slouží k jedinému účelu - zdvořilému dotazu: Vážení, tady nám něco nehraje, můžete nám to, prosím, vysvětlit?"
Jaká je dnes realita? Ono "jediné číslo", které je výsledkem hodnocení vědecké činnosti instituce, se zcela přímočaře promítá do jejího financování. Žádné "standardní způsoby hodnocení" do toho nevstupují a na žádná vysvětlování také není nikdo zvědavý. (Jak si tedy tehdejší reakci pana Blažky vyložit? Napadají mě tři možnosti: pan sekretář (a) neměl v roce 2005 absolutně ponětí, kam reforma skutečně směřuje; (b) věděl to velice dobře, ale lišácky tvrdil něco zcela jiného (prozaičtěji se takovému lišáctví říká lež); (c) napsal svůj tehdejší článek pod vlivem většího než malého množství omamných látek.)
Co se v oblasti hodnocení humanitních věd událo od doby naší tehdejší výměny názorů s panem Blažkou? Aplikace stále se vyvíjejících "Metodiky" zatím nevedla k jejich poškození; podle toho, jak byla nastavena kritéria za rok 2007, na tom dokonce byly humanitní vědy lépe, než asi kdokoli očekával. To bylo ovšem dáno tím, že tvůrci "Metodiky" narazili na problém, na který jsme upozorňovali v našem článku, totiž že způsob kvantifikace výsledků založený na impaktu prostě není možné na humanitní vědy aplikovat, a proto začali vymýšlet způsoby, jak potřebná čísla nějak 'nasimulovat'. Tak vznikl takzvaný "Seznam recenzovaným neimpaktovaných časopisů (periodik) vydávaných v České republice", do kterého se obskurním způsobem posbíraly všemožné časopisy a od zeleného stolu se stanovilo, že za článek v každém takovém časopise bude 10 bodů (přičemž za článek v průměrně citovaném impaktovaném časopise se v té době již dávalo 20 bodů).
Tato konkrétní čísla vedla jednak k tomu, že humanitní vědci dopadli dobře; na druhé straně ale vedla také k přesnému opaku toho, k čemu reforma hodnocení vědy vést měla: totiž k naprosté demotivaci dělat skutečně mezinárodně podstatný výzkum. Proč publikovat ve skutečně špičkových mezinárodních časopisech či nakladatelstvích, když stejný počet bodů dostanete za článek v periodiku lokálního významu?
Tímhle ale vše zdaleka nekončí. Problematičnost takovéhoto hodnocení humanitních věd nezůstala bez povšimnutí. Nicméně fakt, že v této podobě toto hodnocení vede k přesnému opaku toho, k čemu má reforma deklarativně směřovat (to jest vede k protěžování průměrnosti na úkor excelence), zřejmě ponechal RVVI klidnou; zneklidnil ji pouze fakt, že humanitní vědy z něho vycházejí lépe, než čekala. To vyřešila tím, že navýšila hodnocení toho, co považuje za nejvýznamnější mezinárodní výsledky.
Tady už ale nová verze "Metodiky", která bude uplatněna na výsledky počínaje rokem 2008, nabývá podobu skutečné frašky. Kromě článků v impaktovaných časopisech, za které se nyní uděluje až 305 bodů (za článek ve vybraných neimpaktovaných časopisech lze dostat maximálně 12 bodů, za knihu maximálně 40 bodů), nyní tvoří zcela zvláštní kategorii články ve třech časopisech, a to v Nature, Science a Proceedings of the National Academy of Sciences (USA), za které se přiděluje 500 bodů. Publikování v těchto časopisech je skutečně velmi prestižní záležitost; v podstatě se však omezují na texty z oblasti přírodních (a částečně společenských) věd.
Publikuje-li nějaký český přírodovědec článek v Nature, je to bezesporu velký úspěch, který jistě má být výrazně ohodnocen. Je to ale podstatnější výsledek, než když lingvista, historik nebo filosof publikuje mnohasetstránkovou knihu v prestižním mezinárodním nakladatelství? Zdá se mi, že kdo by chtěl trvat na kladné odpovědi na tuto otázku, projevil by se jako zaslepený jistým omezeným pojetím vědy. A byl by někdo (tedy mimo paní ministryně Kopicové ...) ochoten s vážnou tváří hájit názor, že, jak vyplývá ze současné verze "Metodiky", je jeden článek v Nature významnější výsledek, než když by zmíněný lingvista, historik nebo filosof publikoval takových knih dvanáct?
Myslím, že nějak rozumně hodnotit výsledky vědecké práce je v oblasti humanitních věd třeba snad ještě více než v ostatních vědních oblastech; někteří protagonisté těchto věd u nás totiž mají tendenci zaměňovat vědu s publicistikou či osvětou. "Metodika" RVVI však namísto toho, aby stimulovala vědecký výzkum skutečně mezinárodní úrovně, naopak stimuluje chrlení výsledků lokálního významu a tak ne úplně dobrý status quo zakonzervovává. Nemluvě o tom, že nabobská bohorovnost, se kterou RVVI mete ze stolu jakékoli poukazy na tyto nesmyslnosti, vzbuzuje otázku, zda to vše není jenom projevem názoru jejich členů, že humanitní vědy jsou pouze jakýmsi trapným přežitkem. Pokud tomu tak je, bylo by už načase, aby RVVI vyložila karty na stůl a k tomuto názoru se otevřeně přihlásila.