Hodnocení výzkumu je Achillovou patou návrhu reformy

26. 03. 2008 | 17:29
Přečteno 13472 krát
Jedním z klíčových prvků navrhované reformy systému výzkumu, vývoje a inovací je myšlenka stanovení způsobu hodnocení výsledků výzkumu a vývoje čistě mechanické přidělení prostředků státního rozpočtu na výzkum a vývoj podle tohoto hodnocení. Myšlenka je to zdánlivě velmi dobrá, bližší pohled však ukáže značnou naivitu tohoto postupu i diletantismu na straně Rady pro výzkum a vývoj, která se za tento návrh staví. Hodnocení výzkumu lze považovat za jednu z Achillových pat návrhu reformy (který v této metafoře bohužel není dvojnožcem).

Jednotný způsob hodnocení výsledků výzkumu a vývoje má výzkumným institucím přiřazovat body odvozené z počtu uznaných publikací, patentů, případně malého počtu kategorií jiného druhu „výsledků“ výzkumu a vývoje. Vlastní mechanismus tohoto hodnocení není přímo součástí návrhu „reformy“, bude však podstatným způsobem určovat její reálné efekty, protože určí rozdělení prostředků ze státního rozpočtu mezi resorty. Konkrétní podobu stávající metodiky lze nalézt na stránkách Rady pro výzkum a vývoj.

V návrhu Reformy systému výzkumu, vývoje a inovací v ČR, jak jej připravila Rada pro výzkum a vývoj, je navrhovaný systém charakterizován těmito slovy: „Správce rozpočtové kapitoly, přes kterou budou prostředky poskytovány, bude mít možnost rozdělení prostředků upravit (obdobně na úrovni organizace) s tím, že výrazné korekce vedoucí k snížení počtu výsledků povedou samozřejmě ke snížení objemu prostředků v dalších letech. Tímto ekonomickým mechanismem budou řešeny i další problémy ve VaV, od vykazování stejných výsledků až po mnohonásobné pracovní úvazky. Resort, který prostředky na VaV rozdělí organizacím podle takových kritérií, která nepovedou k výsledkům, získá v dalším roce (a bude moci rozdělit) méně prostředků. Stejně tak organizace, ve které budou pracovat lidé s řadou dalších úvazků (kteří budou své výsledky vykazovat u jiných organizací) se budou s těmito organizacemi o výsledky dělit (součet výsledků musí být za ČR 100 %) a budou získávat méně prostředků. Aby úpravy na úrovni rozpočtových kapitol směřovaly k posílení kvalitního a excelentního výzkumu, musí vycházet z hodnocení kvality mezinárodně uznávanou a používanou metodikou. Pro výzkumné organizace, zabývající se plně nebo převážně výzkumem, je jím RAE (Research Assessment Exercise) používána ve vybraných zemích EU (Německo, Holandsko, Itálie aj.). Použité metodiky a výsledky hodnocení musí být zveřejněny.

V připravované Bílé knize terciárního vzdělávání je mechanické představě rozdělování financí striktně na základě „uplatněných výsledků“ věnována pasáž: „Místo výzkumných záměrů, které byly jakousi soutěží projektů s nejasně definovanými hodnotícími kritérii, bude tato část institucionálního financování VaV nahrazena financováním podle výsledků uplatněných v databázi RIV. Mírnou modifikaci vypočtených hodnot bude moci provést poskytovatel dotace, kterým v případě vysokých škol zůstane MŠMT.

Takto předkládaná koncepce může na první pohled vypadat logicky a schůdně. Fakticky se v ní však skrývá řada podstatných trhlin, které svědčí o lehce naivním, pokud ne přímo diletantském přístupu jejích autorů.

Dvojí metodika

Prvním problémem je uplatnění dvojí metodiky jako podkladu pro rozdělování výzkumných peněz. Rada pro výzkum a vývoj ukládá jednotlivým správcům rozpočtových kapitol užít metodiku známou ze zahraničních hodnocení výzkumu RAE (Research Assesment Excercise). V žádné z uvedených zemí se pro rozdělení financí na této úrovni nepoužilo mechanického propočtu na bázi nějaké státem provozované databáze „uznávaných výsledků“ (v těchto zemích ostatně stát takové databáze ani neprovozuje), nýbrž odborných komisí ustanovených zvlášť pro jednotlivé vědní disciplíny.

Společným jmenovatelem je respektování různosti jednotlivých vědních oborů – v Itálii se jednalo o 20 panelů, z toho 14 specificky oborových. V Německu počítá rozsáhlá metodika sestavená Vědeckou radou s důrazem na oborové hodnocení, které v každém oboru zohledňuje devět rámcových kritérií ve třech dimenzích (výzkum, výchova, transfer poznatků), základem hodnocení jsou oborově specifické profily a sestavování výsledného ratingu pro jednotlivé obory podle rozdílných kritérií. V Británii dovolovala pravidla pro poskytování podkladů pro RAE přidat dokonce jakékoli další informace, které hodnocené pracoviště považovalo za důležité.

V RAE v jakékoli podobě je hlavní důraz v sumárním hodnocení kladen na tzv. peer review, tedy posouzení externími experty, což je prvek, kterému se Rada pro výzkum a vývoj zcela zřetelně snaží vyhnout. Když se má vyrovnat s námitkami, že navrhovaný systém hodnocení užitím jediného kritéria počtu bodů za uznané výsledky je příliš jednoduchý, kontruje (v poznámkách adresovaných Radě vysokých škol) slovy: „Dochází k záměně návrhu na rozdělování institucionálních výdajů na výzkum a vývoj mezi jednotlivé rozpočtové kapitoly na základě objektivních kritérií s hodnocením jednotlivých organizací poskytovatelem a následného přidělení prostředků, které bude možné modifikovat dle podrobnějšího hodnocení organizací.“ V obou úvodem uvedených citátech z příslušných koncepčních materiálů se však tvrdí, že odchylky v metodice poskytování financí na úrovni resortu od metodiky užívané Radou pro rozdělení peněz resortům mohou být jen velmi malé, rozdíl v metodice používané pro RAE a mechanickým rozdělováním financí mezi resorty je však velmi dramatický. Důsledky divergence různých metodik na různých úrovních nechávají Rady pro výzkum a vývoj zcela chladnou – Rada vyřešila algoritmus nahrazující hrubé politické rozhodování o tom, jak velké mají být jednotlivé kapitoly rozpočtu, a to, zda je vůbec v této situaci reálné uplatnit metody RAE na úrovni jednotlivých institucí, se rozhodla nechat na jiných.

Použitý způsob hodnocení vede ke zkreslení

Druhý problém se týká toho, jak ve zvoleném přístupu pojmout hodnocení výsledků výzkumu. Má-li být tento ukazatel určujícím pro rozdělování financí, je podstatné, aby ve své konstrukci neobsahoval systematické deformace užívaného měřítka. Rada pro výzkum a vývoj se zatím může cítit v pozici chytré horákyně – vymyslela koncepci reformy, která na hodnocení výsledků podstatně závisí, u vlastního hodnocení však říká, že se na jeho parametrech pořád ještě pracuje.

V předchozích letech se způsob započítávání „bodů“ za jednotlivé druhy „výsledků“ lišil rok od roku a průběžně se měnil i obsah státem spravované databáze výsledků výzkumu RIV. Jedním z důsledků toho bylo například to, že se užitné nebo průmyslové vzory, u kterých není při zápisu do rejstříku nijak zkoumána původnost, hodnotily v určité době dokonce více, než domácí patenty, které bez prokázání původnosti udělit nelze. Pokud předpokládáme jistou kontinuitu v systému hodnocení, závisí zcela zásadně na impaktním faktoru (IF) z databáze Web of Science (WoS) firmy Thomson Scientific, kromě toho se zde započítavají udělené patenty a hodnotí se i tzv. autorizovaný software, což je speciální (a věcně spíše směšná) kategorie, do které se vejde jakýkoli program, u kterého autor vykáže splnění naprosto formálních podmínek.

Impaktní faktor přebíraný z databáze WoS je zcela automaticky považován za „mezinárodně užívanou metodiku“. Je nepochybné, že v řadě vědních disciplin (zhruba řečeno těch, ve kterých se udílejí Nobelovy ceny) je to ukazatel dopadu obsahu publikací, který má dobrou vypovídací schopnost, obecně je však spoléhání se na jeho využívání způsobem, který používá Rada vlády pro výzkum a vývoj, přístup, který lze označit za přinejmenším velmi naivní. Metodika používaná Radou pro výzkum a vývoj především neužívá přímo IF jednotlivých posuzovaných článků, ale IF časopisů, ve kterých tyto články byly publikovány.

Díky tomu, že obecně neplatí, že IF článku je přesně průměrovém průměrnému IF časopisu, ve kterém vyšel, zavádí se zde výrazná systematická chyba, na kterou upozorňuje řada autorů pracujících v bibliometrii. Rada pro výzkum a vývoj ve svých odpovědích na upozornění na tento problém reagovala poněkud komickým sdělením: „Ohledně impaktního faktoru – již bylo zpracováno a diskutováno několik desítek modelů řešících uvedený aj. problémy, na jejichž přípravě v KHV RVV se aktivně podílí řada zástupců VŠ.“ Konkrétní analýzy vztahu IF mezinárodních publikací a IF jednotlivých článků tuzemských autorů v nich jsou v tomto vyjádření zaměněny poukazem na kolektivní shodu o tom, jaké výsledky výzkumu hodnotit kolika body, a je evidentní, že o bibliometrických vlastnostech užívaných měřítek nemají členové Rady pro výzkum a vývoj žádné ponětí.

Pozoruhodné je, že o nevhodnosti užívání IF časopisů jako měřítka kvality jednotlivých článků v nich se vyjadřuje velmi rezolutně i nesporná autorita v oboru, duchovní otec přístupu užívaného ve WoS společností Thomson Scientific Eugen Garfield. Ve své přednášce z roku 2005 na mezinárodním kongresu k posuzování pomocí „peer review“ k biomedicinským publikacím napsal: „Používání citačních indexů časopisů namísto skutečných citačních indexů článků pro hodnocení jednotlivých autorů je vysoce spornou záležitostí. Grantové agentury a jiné instituce zodpovědné za vědní politiku si často přejí vyhnout se práci, kterou představuje získání skutečných počtů citací pro jednotlivé články a autory. Údajně nemohou mít čerstvě publikované články dostatek času na to, aby byly citovány, takže je lákavé použít impaktní faktor celého časopisu jako náhradní nástroj hodnocení. Mělo by tomu být tak, že již samo přijetí článku k uveřejnění v časopise s vysokým impaktním faktorem je jakýmsi předpokládaným ukazatelem prestiže. Typicky to vypadá tak, že se při posuzování bibliografie posuzovaného autora nahrazují skutečné počty citací jeho prací impaktními faktory časopisů, ve kterých byly publikovány. Impaktní faktor se tak používá k odhadu očekávaného dopadu jednotlivých článků, což je dost pochybné, uvážíme-li známé zkreslení pozorované u většiny časopisů.“ Rada pro výzkum a vývoj se nicméně bez ohledu na tuto dobře známou kritiku rozhodla využívat přesně způsobu, který sám autor těchto parametrů označuje za pochybný.

Publikační zvyklosti se mezi různými vědními disciplinami výrazně liší

Dalším problémem známým a na datech z jiných zemí dobře demonstrovaným problémem je oborová nevyváženost okruhů publikací, které jsou do databáze WoS zahrnuty. Analýza australské scientometričky Lindy Butlerové to ukazuje na srovnání dat o různém zastoupení různých typů publikací v produkci poznatků v různých vědních oborech, které je zobrazeno na následujícím obrázku:

Struktura výzkumných publikací v různých vědních oborech
Struktura výzkumných publikací v různých vědních oborech


S ohledem na to, že WoS vybírá pouze časopisy a nepracuje se sborníky nebo technickými zprávami, které jsou časté v aplikovaných vědách, vytváří tyto rozdíly pro některé vědní obory efekt „citačního ledovce“, jak to výstižně nazval švédský odborník na citační a publikační analýzu Ulf Sandström z univerzity v Linköpingu, který se věnoval rozsáhlé analýze podkladových materiálů pro hodnocení vědecké produkce v Austrálii. Pro různé obory je "viditelná část" ledovce zahrnutá do WoS dramaticky rozdílná:

Metafora ledovce
Metafora ledovce


Bibliometrická analýza impaktovaných dat společnosti Thomson Scientific nebyla nikdy v ČR zpracována, a Rada vlády pro výzkum a vývoj se spoléhá pouze na naivní pocit univerzální adekvátnosti tohoto nástroje. Do polohy spíše diletantské se pak tento přístup dostává domácím sběrem odborných periodik, které patří do oborů s nejkřiklavějšími nedostatky v databázích WoS, přes webový formulář. Skutečnost, že společnost Thomson Scientific nemá data, která by byla mezioborově použitelná, upozorňuje v zahraničí například editoriál uveřejněný v britském týdeníku specializovaném na vysoké školství Times Higher Education dne 28. února t.r., který rovněž zdůrazňuje potřebu nezávislé analýzy obsahu dat WoS, a podotýká v té souvislosti, že se v případě WoS jedná o jednu konkrétní komerční službu, jejíž (s ohledem na výše citované upozornění Eugena Garfielda navíc značně nekompetentní) užití pro účely hodnocení výzkumu pro účely rozdělování veřejných prostředků může být bez vyřešení řady souvisejících otázek značně problematické.

Hodnocení aplikovaného výzkumu je ještě problematičtější

Ještě problematičtější je navrhované hodnocení výstupů aplikovaného výzkumu přidělováním bodů za přidělené patenty. Rada pro výzkum a vývoj ztotožnila statistiky patentů užívané jako indikátor inovačních aktivit s kvantifikací „výstupů“, která by měla sloužit jako podklad pro následné přidělování prostředků z veřejných zdrojů. Zvolené hodnocení patentů lze přirovnat počítání publikací bez citačního ohlasu. U patentů se hodnotí pouze typ uděleného patentu, nikoli však to, zda je patentovaná myšlenka pro někoho užitečná, nebo zda prodej patentů získal zpět alespoň takové prostředky, které na jeho vývoj, registraci, případně soudní spory o jeho uznání byly vynaloženy. Pro uplatňování patentů bylo zatím vždy voleno časové okno, které je z praktického hladiska málo použitelné, protože zabezpečení skutečně účinné patentové ochrany získáním patentu evropského nebo mezinárodního trvá v řadě případů dobu delší, než v jaké lze patent po skončení projektu vykázat jako výsledek. Nezanedbatelné poplatky za patentové přihlášky budou mimo jiné uznatelným nákladem pro formální krok generující další veřejné peníze.

Skutečnost, že se v mezinárodních statistických přehledech vyhodnocují počty udělených patentů, není totéž, jako užití těchto dat jako podkladu pro přidělování financí a vytvoření z věcného hlediska nijak žádoucích pobídek pro patentování, které není měřeno užitečností patentu, ale jeho schopností generovat další veřejnou podporu.

Paradoxním důsledkem různě stanovených „metrů“ pro měření disciplin ve WoS dobře zastoupených a aplikovaných věd, jejichž publikační výztupy zde tak dobře reprezentovány nejsou, bude značná diskontinuita mezi základním a aplikovaným výzkumem. Upozornění na tento efekt lze nalézt v některých hodnoceních dopadů systému hodnocení uplatňovaného ve Španělsku.

Hodnocení vědy bez zájmu o korektní podklady

Metodologii hodnocení produkce výzkumu a vývoje by samozřejmě bylo možné opravit tak, aby nevykazovala výše uvedené problémy. Smutným faktem ovšem je, že o metodologicky korektní postup nejeví Rada pro výzkum a vývoj žádný zájem. První místopředsedkyně Rady nedávno na upozornění odvětvových problémů sdělila akademickým činovníkům dvou největších našich univerzit: „Princip použitý ve schválených a platných "Metodikách hodnocení výzkumu a vývoje a jejich výsledků", který až nyní zpochybňujete, je výsledkem práce poradních orgánů Rady a všeobecně dosaženého konsensu při aktivní učasti zástupců veřejných vysokých škol. Dovoluji si podotknout, že řada renomovaných odborníků vysoce ocenila vzájemnou konstruktivní spolupráci a dosažený konsensus. Mimo jiné si Rada vysoce cení aktivní účasti přímého zastoupení Vaší univerzity v této komisi.

Scientometrické hodnocení je z povahy věci odborný problém, jehož řešení musí vycházet ze matematických resp. statistických vlastností posuzovaných souborů dat. Argumentace dosaženým konsensem bez věcné analýzy je popřením elementárních metod založených na evidenci. Pokud analýzy a data (viz např. monografii Henk F. Moed: Citation Analysis in Research Evaluation, Springer 2005, kde jsou také kvantifikovány rozdíly, na které poukazuje výše zmíněná metafora ledovce, jako rozdíly v zahrnutí citací s rozdíly 90 % u dobře zastoupených disciplin vůči 40 % u disciplin reprezentovaných nejhůř) ukazují na velké oborové rozdíly ve vypovídací hodnotě dat WoS pro různé discipliny a tedy na vážné metodologické problémy nebo chyby zvoleného přístupu hodnocení, nelze dost dobře poukazy na ně sprovodit ze světa argumentem, že je na ně upozorňováno „až nyní“ (navíc to není pravda – v komisi námitky byly, ale nevešly se do „všeobecně přijatého konsensu“).

Kdyby Rada vlády pro výzkum a vývoj fungovala s potřebnou kompetencí již před několika staletími, byla by mohla její první místopředsedkyně v duchu stejné logiky namítat Koperníkovi, že se svou heliocentrickou soustavou přišel příliš pozdě poté, co byl Ptolemaiův systém rozpracován jako rozvedení práce respektovaných odborníků ze skupiny Pythagorejců, zejména Philolaose, Heraclida, Hicetase, Ecphantose a dokonce i Aristarchose ze Samosu, a všechny dílčí diskrepance byly vyrešeny zavedením epicyků rhodským astronomem Hipparchem, pričemž se došlo ke vseobecně dosaženému konsensu za aktivní účasti všech vědeckých kapacit té doby i staletí před tím.

Rada vlády pro výzkum a vývoj byla kdysi koncipována jako poradní orgán vlády, který by měl politikům poskytovat potřebnou odbornou expertízu, kterou v oblasti vědy sami nemají. Zdá se bohužel, že odborná kompetence klesá nepřímo úměrně objemu rozhodovacích pravomocí, které si Rada přisvojuje. Pro reformu systému výzkumu, vývoje a inovací u nás to bohužel není ani trochu dobrý vklad.

Komentáře

Aktuálně.cz má zájem poskytovat prostor jen pro korektní a slušně vedenou debatu. Tím, že zde publikujete svůj příspěvek, se zároveň zavazujete dodržovat Kodex diskutujících. Pokud Váš text obsahuje hrubé urážky, vulgarismy, spamy, hanlivá komolení jmen, vzbuzuje podezření z porušení zákona, je celý napsán velkými písmeny či jinak odporuje zdejším pravidlům, vystavujete se riziku, že jej editor smaže.
Přejeme Vám zajímavou a inspirativní výměnu názorů.
Libor Stejskal, editor blogů (blogy@aktualne.cz)

badatel napsal(a):

to autor
přesně popisujete podstatu problému.
Metafora ledovce se týká bohužel i základního výzkumu. Pokud badatel pracuje na pracovišti základního výzkumu jako vědecký pracovník a je zapojen do řešení problematiky pro stát nebo podnik, která nemůže být publikována a je z ní maximálně zpráva pro zadavatele (a to s nemožností publikování ať již státem utajovaných informací nebo obchodního tajemství), nezískává potřebné body dle navrženého hodnocení. Přitom jeho výzkum základní i aplikovaný je pro stát či podnik klíčový a mnohonásobně návratnější, než publikace v časopise s nejvyšším impaktním faktorem.
Pokud nebude na tento druh výzkumu zavedena metrika je celé hodnocení vědeckých výsledků zkreslené a ústav či universita, která pro stát či podniky takové úkoly řeší by byla krácena finančně a badatelé pracující na těchto projektech za svoji činnost propuštěni.
To je zásadní rozpor v tom jak provázat např. výzkum AV ČR s potřebami společnosti.
26. 03. 2008 | 19:02

vlk napsal(a):

Pane profesore,

slyšel jsem na Radiožurnálu Váš rozhovor s panem Pokorným. Věc byla jasná a naprosto srozumitelná i laikovi jako jsem já.

Ovšem rovněž jsem večer slyšel vyjádření pana Topolánka , že je rád, že vláda materiál shválila , jak byl předložen!

A je vymalováno! Váš obsáhlý a jistě nanejvýš fundovaný rozbor má a si stejnou platnost a účinnost jakou měly petice Chodů císaři, když jim Laminger zaváděl robotu.

Nejspíš budete muset přinést zakládací listiny od kterých budou ustřiženy pečeti.... A problém bude vyřešen.
Vláda neshledala na předloženém matroši sebemenší chybičku.
26. 03. 2008 | 21:01

m&m napsal(a):

Malý kvíz:

Tento článek si naši "reformátoři" školství
a) nepřečtou - mají důležitější starosti s "reformováním"

b) přečtou a zareagují, zakomponují věcné námitky do návrhu "reformy"

c) přečtou a zaujmou pozici mrtvého brouka

Můj tip - c) je správně.
26. 03. 2008 | 21:03

alena-m napsal(a):

Jestlize je spickovy vyzkum pro urcity stat drahy a zabyva se jim minimum lidi je jasne ze ohnisko a vyzkum se bude centralizovat napr,v jinem statu se spec.strediskem apod dalsi pak muzou dojizdet a spolupracovat atd a nakonec kazdy kdo chce vedecky-badat musi se snazit prodat a projevit.
Tim vsak nerikam, ze neni potreba neco v nasi zemi podorit ale je treba dusledne vybrat co konkretniho by se hodilo a zurocilo.
26. 03. 2008 | 21:07

vlk napsal(a):

m+m
d je správné

nepřečtou, ale pana profesora potrestají.
26. 03. 2008 | 21:23

m&m napsal(a):

vlk: :-)
26. 03. 2008 | 21:35

Ročník 53 napsal(a):

To vám ta abeceda došla brzo, pánové. Až praxe ukáže na jaké písmeno od konce abecedy dojde.

K tomu čtení zpráv. Jistý výzkumný pracovník jisté instituce psal měsíčně obrovské elaboráty o činnosti v mnoha kopiích. Byl si tak jist, že jeho texty nikdo nečte, až jednou vsunul ke konci text větu "Kdo to dočetl až sem, má u mě stovku". Moc se nemýlil, neboť až po půl roce přišel telefonát se správou: "Pane inženýre, mám u vás stovku". Kdyby takovéto lákadla, čili bonusy za čtení, byly obvyklé, třeba by zodpovědní četli dál než po název a autora práce.
26. 03. 2008 | 22:27

Pepa napsal(a):

Problémem českého vysokého školství je plýtvání pěnezi na různé humanitní, sociálněvědní nebo ekonomické školy. Jejich polovzdělaní absolventi k rozvoji společnosti nijak nepřispívají, většinou končí na pracovních úřadech, nebo na nekvalifikovaných pozicích. Kdyby se takto vyhozené peníze investovaly do výzkumu, bylo by to hned veselejší.
26. 03. 2008 | 22:57

Daniel Munich napsal(a):

Rozhodování o mechanismu, který by měl v Česku rozdělovat miliardy korun ročně na vědu by si jistě zasloužilo mnohem kvalitnější a obšírnější analytické podklady a zázemí než dnes Radě vlády pro vědu a výzkum (RVV) poskytuje několik úředníků na úřadu vlády. Je vlastně paradoxní, že se na tak důleřitou věc ve státním rozpočtu nenajde pár milonů navíc. Jiří Zlatuška analytickou slabost právem kritizuje.

Souhlasím i s řadou jeho výhrad k nedokonalostem navrženého mnechanismu. Já osobně také kritizuji některé nedomyšlené věci (viz. můj článek na http://abicko.avcr.cz/bulle... ) Chtěl bych však také dodat, že jediné realizovatelné alternativy, kterou JZ nabízí, tedy něco na způsob britské RAE a peer reviews, bych se v Česku bál mnnohem více než nedokonalostí návrhu RVV, na kterí JZ upozorňuje. Při malosti českých vědeckých rybníčků a jejich v lepším případě průměrnosti by takový způsob hodnocení nevedl k ničemu jinému, než že by pár zpravidla světově podprůměrných vědců (ti špičkoví na úředničinu totiž většinou nemají čas a náladu) hodnotilo pár vědeckých es a dále několik dobře známých kamarádů nebo soků. Nemusím snad dodávat, k čemu by takové "peer review" po česku bylo.

Že by naše vědecké výsledky, pro naše dobré oči, k nám jezdili pravidelně hodnotit světová vědecká esa, o tom silně pochybuji.

Něco zkritizovat, obzvláště když ideální realizovatelné řešení v podstatě neexistuje a každé řešení má své mouchy, je velice snadné. Rád bych se od Jiřího dočkal nějakých konkrétních alternativních realistických návrhů na reformu financování české vědy, abych si také mohl s chutí zkritizovat všechny nedokonalosti, které bude mít každý návrh.

Jestli si něco zasluhuje tvrdou kritiku, tak je to před pár lety zavedené financování skrze tzv. výzkumná centra, Národní programy výzkumu nebo způsob, jakým dnes hodnotí plnění výzkumých záměrů MŠMT.
26. 03. 2008 | 23:06

RUMCAJS napsal(a):

Pane senátore,je to tak dlouhý, že jem to vzdal. Ale věřím, že když pan profesor Zelený nalezl metodiku, která ho onačila ze nejlepšího ekonoma vesmíru, že i tady se nějaké řešení najde.
26. 03. 2008 | 23:46

scientist napsal(a):

přesně, jak napsal Vlk.
Ale tenhle vrchnostenský přístup, který Rada a následně vláda předvedly, se vymstí.

Zase se to bude celé dříve nebo později předělávat, až ti chytrolíni pochopí, že je něco blbě. Však to předvádí s každoročními úpravami bodování výsledků vědy a výzkumu. Ti tataři nejsou už celé roky schopní vymyslet něco, co by bylo k něčemu a co by aspoň pár let fungovalo.

Jak potom po nich chtít, aby chytře vymysleli něco mnohem komplexnějšího jako je Reforma VaV?
27. 03. 2008 | 00:45

jirizlatuska napsal(a):

D. Munichovi: Aby bylo jasno -- nejsem to já, kdo nabízí RAE, pouze cituji z interního podkladového materiálu RVV (přidal jsem jen V. Británii) a používám odkaz na metodiku, poskytnutý předsednictvem RVV v reakcích na přípominky ČKR a RVŠ a obsažený ve vládou schváleném návrhy "Reformy".

Citační analýza se dá udělat seriózně, mám ale dojem, že o ni nikdo nemá zájem. Ulf Sandström ji dělal pro australská data a uměl by ji udělat i pro data česká ve srovnání např. s Německem, Rakouskem nebo Polske jako zeměmi, se kterými se přirozeně můžeme srovnávat.

Výzkumná centra i NPV si samozřejmě zaslouží kritiku. Klíčoví lidé, kteří stáli u jeich zrodu, stojí i dnes u "Reformy". Bohužel dělají stejně triviální chyby, jako dělali tehdy...

Nejde mi o "ideální realizovatelné řešení", stačilo by mi jen řešení, které by nevykazovalo chyby naprosto elementárního rázu. Rozumíte základní matematice, takže si vezměte jen skutečnost, že metodika hodnocení výzkumu pro rok 1007 obsahuje v tabulce v příloze 3 formulaci, že pro časopisy s různými obory s různými mediány IF se použije medián souboru těchto IF. Myslíte, že autor metodiky neměl propadnout z maturity z matematiky?

==
Pro ostatní čtenáře si představme jednoduchou situaci:

Máme obory A,B,C a chceme publikovat článek z oboru C.
Jsou k dispozici tři časopisy J1, J2, J3 které se věnují těmto třem oborům.

Zastoupení článků v oborech A, B jsou v těchto v těchto časopisech zruba stejná, stejně tak jejich impakty, pro jednoduchost si vezměme tři články v každém z oborů:

A 0.9,1.0,1.1, medián je 1.0
B 1.4,1.5,1.6, medián je 1.5

Časopisy se liší v zastoupení článků z oboru C.

J1 to má jako
C 1.9,2.0,2.1, medián je 2.0

v J2 je to
C 1.0,2.0,3.0, medián je 2.0

v J3 je to
C 8.7,8.8,8.9,9.0,9.1,9.2,9.3, medián je 9.0

Autoři publikující svůj článek v kterémkoli z těchto časopisů, budou hodnocen mediánem tří mediánů, což bude identicky 1.5. V časopise J3 to bude znamenat podstatnou ztrátu proti mediánu oboru C, ale i proti mediánu IF napříč všech oborů, který je 8.7, a zcela jistě výrazné zkreslení vůči stavu, kdy známe vnitřní strukturu, nikoli jen oborové mediány.

Může někdo vážně navrhovat operace typu medián z mediánů bez toho, aby do užité operace zahrnul charakteristiku dílčích souborů?
==

Nejde ani o to, že by měli úředníci Úřadu vlády poskytovat lepší analytické podklady. Jde mi o to, že dostanou-li konkrétní námitky, mají se zajímat o nalezení schůdného řešení (o to se nesnaží), nikoli o to, jak námitky ignorovat (to dělají - viz způsob, jak bylo zacházeno s připomínkami České konference rektorů nebo Rady vysokých škol).

A nektitizuji nedokonalosti, kritizuji zjevné chyby, které odpovědným lidem _musí_ být známy.

A ještě perličku na závěr: Odborná skupina Pedagogická fyzika České fyzikální společnosti, sekce JČMF pořádá v Brně v pátek 28. 3. seminář "Aktuální problémy hodnocení výzkumu," http://vzdelavani.physics.m..., kde se chce v analytické rovině některým problémům hodnocení výzkumu věnovat. Z autorských kruhů "Reformy" jsem se doslechl o reakci týkající se toho, že je třeba "udusit vzpouru hned v zárodku", nikoli "podívat se na se na to, jak naše postupy spravit".

Zde nevidím problém v neexistenci ideálních řešení, jako spíš ve věcné nekompetenci osob, které mají na svědomí současný stav. Vzpomínám (nikoli s nostalgií), jak se u jednoho vysoce postaveného politického experta doby už nějaký čas minulé, tradovala výhrada z jeho výučního listu "Nepúšťať na saka." Pro RVV ani její aparát výuční listy samozřejmě potřeba nejsou...

==

Vlastně ještě kontrolní otázku: Na jaké náklady odhadujete korektní postup hodnocení, který by respektoval výhrady Eugena Garfielda, které v blogu cituji? Byly by to v kontextu více než dvou desítek miliard korun, o kterých se bavíme, výdaje účelné, nebo zbytečné? (Abstrahuji od toho, že nejjednodušší je nedělat nic, zejména nehnout pr...stem.)
27. 03. 2008 | 01:13

Karel Vomacka napsal(a):

Tak to vypada na starou dobrou klasiku. Nemaji autori oneho hodnoceni nahodou ekonomicke vzdelani a vek vyssi nez 50 let? Na druhou stranu lze pozorovat vyrazne zlepseni, od vyucnich listu jsme se posunuli az k medianu! Stacilo k tomu jen 18 let. Za dalsich 18 let se budou treba resit statistke vlastnosti souboru na ponekud vyssi urovni...

Mala otazka: Proc neni bran v ubahu h-faktor, kdyz ma tak pekne statisticke vlastnosti? Pokud se nepletu dokaze predpovidat budouci publikacni cinnost s docela slusnou pravdepodobnosti (tak na 10 let dopredu).
27. 03. 2008 | 03:48

foreigner napsal(a):

Pracuji na spickove zahranicni instituci, ale musim rict, ze takhle slozite se tady nikdo pri kazdodenni vedecke praci merenim dobre nebo spatne vedy nezabyva. Zda se mne, ze v Cesku se travi prilis mnoho casu merenim mozna nezmeritelneho.
Aspon v mem oboru je celkem jasne, ze kdyz publikujete v Nature, tak je to proste uplne prulomova myslenka, stejne tak je jasne, ze i v PNAS to musi byt hodne inovativni napad. Myslim, ze ceska veda potrebuje vic otevrenosti, vic kontaktu se svetem, jedine tak se zbavime tehle komplexu, jestli delame nebo nedelame dobrou vedu. A konkurence o penize(granty) pokud mozno v celoevropske konkurenci vytridi zrno od plev celkem bez problemu.
27. 03. 2008 | 05:36

foreigner napsal(a):

jo jeste nechapu, kde cesti vedci (a hlavne reditele vedeckych instituci) berou cas na to neustale prepocitavani impaktu, poctu publikaci,prumeru, medianu, citaci....ono to opravdu neni zas tak dulezite. Myslim, ze ve vedecke komunite se vi kdo dela dobrou vedu a kdo ne.
27. 03. 2008 | 05:41

Humanitní břídil.. napsal(a):

"Problémem českého vysokého školství je plýtvání pěnezi na různé humanitní, sociálněvědní nebo ekonomické školy. Jejich polovzdělaní absolventi k rozvoji společnosti nijak nepřispívají, většinou končí na pracovních úřadech, nebo na nekvalifikovaných pozicích. Kdyby se takto vyhozené peníze investovaly do výzkumu, bylo by to hned veselejší."

Samozřejmě, veselo jak v Orwellově 1984..
Souhlásím, u studentů technických oborů je polovzdělanost přeci společensky tolerovatelná a kdo by neměl rád technokracii..

PS: Závidim těm studentům z přeplácených humanitních škol.. Co já spíše znám, jsou humanitní obory, kde nejsou peníze ani na zahraniční literaturu..

PPS: Ne vážně, pobavil ste mě. Vím, že jste v duchu vtipný člověk a že jste touto netradiční formou chtěl upozornit na to, jak jsou humanitní a společenské vědy ve skutečnosti důležité, aby společnost nikdy zcela neovládla jednoduchá kšeftařská morálka, hysterický neintelektualismus a nekritický obdiv k technokracii..
27. 03. 2008 | 06:32

F. Adamec napsal(a):

Univerzity s profesory -absoventy VUMLu by meli zrusit.
27. 03. 2008 | 08:48

Al Jouda napsal(a):

Tenhle blog svědčí pro můj nesmělý návrh svěřit veškeré školy do řízení samosprávným orgánům ve městech, kde jsou dislokovány. MŠMT je k ničemu.
27. 03. 2008 | 09:08

Kutálek napsal(a):

Článek jsem si se zájmem přečetl a v mnoha okamžicích obdivně souhlasím. Na obranu RVV je ale třeba říci, že udělala pouze to co jí vzdělání, schopnosti a zkušenosti jejích členů dovolily. Pro zainteresované doporučuji pročíst si životopisy jednotlivých členů RVV na webové stránce Rady http://www.vyzkum.cz. I nezasvěcenému čtenáři bude zřejmé, že námitka pana Municha o nekompetentnosti posuzovatelů (v peer review procesu) se vztahuje také a možná především na mnoho členů tohoto orgánu, který fakticky směruje výzkum, vývoj a inovace v této zemi. Valná většina z nich se na zmiňovaném WOS vyskytuje pouze velmi sporadicky (či dokonce vůbec) a jejich kompetence v oblasti inovací jsou jasně dokumentovány prohlédnutím databáze patentů. Tento žalostný stav je petrifikován i ve vládou schválené reformě, kde najdeme jasně formulováno v kapitole "složení rady", že část jejích členů budou přední odborníci. Je třeba pochválit Radu, že přítomnost odborníků připustila. Doufejme, že se jejich názor alespoň občas prosadí.
27. 03. 2008 | 09:28

Bobo E napsal(a):

Možná, že reformou navrhovaný spůsob hodnocení není zcela objektivní, ale ze zkušenosti bych řekl, že současný stav je daleko horší. Je pravda, že hodnotit čiste podle impact factoru je nesmysl. Např. v medicíně není problém najít časopis s IF komel 10, ve fyzice, chemii mají nejlepší časopisy IF něco mezi 3 a 4. V některých oborech mají nejlepší časopisy IF kolem jedné. Na druhou stranu v současném systému dubluje AV část práce universit, na VŠ i na AV je řada "vědců", od kterých nikdo již pár let neviděl jediný výsledek, granty a peníze se přidělují spíše podle toho, "kdo s kým chodí na pivo" než podle kvality vědy, do výskumných záměrů se vleze ledasco a peníce z nich se využívají i na věci, které s cílem záměru nemají nic společného.
P.S: Docela by mne zajímalo, co se v grafu skrývá pod položkou Creative Works u humanitních oborů.
27. 03. 2008 | 10:14

jirizlatuska napsal(a):

K P.S. od Bobo E: Když mne taková věc zajímá, je většinou docela jednoduché si ji vygůglovat. :-) Ale budiž:

Popis databáze Humanities International Index (EBSCO) např. uvádí: "Humanities International Index is a comprehensive database covering journals, books and other important reference sources in the humanities. It provides cover-to-cover indexing and abstracting for over 1,900 titles and contains more than 1.6 million records. Formerly the American Humanities Index, this database contains bibliographic records from a multitude of U.S. and international journals, books and reference works. Humanities International Index provides citations and abstracts for articles, essays and reviews, as well as original creative works including poems, fiction, photographs, paintings and illustrations."

Nějaké příklady jsou k vidění třeba v brožurce http://www.sfsu.edu/~gradst...
27. 03. 2008 | 11:56

Antonín Hrbek napsal(a):

Zažil jsem již asi osm zásadních reforem hodnocení vědy, výzkumu a vývoje. Většina z nich nic v podstatě nezměnila.
Neustále musí být tzv. sledovací výzkum, který sám o sobě nic nového nepřinese, mimo připravenosti. Tam je jen otázka co sledovat a kolik se na to může obětovat. Další význačnou kategorii je kopírovací výzkum, který by měl být schopen v tuzemsku výrobně aplikovat to, co je jinde na výborné úrovni (pro ilustraci - např. generika), případně zajistit i tvorbu vedlejších patentů.
A konečně je kreativní výzkum, který by měl směřovat k něčemu zásadně novému.
Každá z těchto kategorií je nutná a každá má jiné výstupy a tudíž i jiné metody hodnocení.
Vždy jsem si kladl zpětnou otázku, jak by podle navrhovaného systému hodnocení byli na tom někteří naši i světoví špičkoví vědci a vynálezci? Odpověď je jednoduchá - velmi špatně!
Při financování výzkumu je v ČR tolik možných kanálů úniku tolik způsobů obcházení, že nikdo není schopen zajistit systémovou kontrolu. A cest k ošizení citací je přece nespočet. Platí zásada - zloděje mohou kontrolovat jedině zloději, protože ti vědí, jak se krade.
BTW Nad složení RVV jsem se, až na výjimky, srdečně zasmál.
27. 03. 2008 | 13:30

Jirka Cech napsal(a):

No, mam z toho rozporuplne pocity. Shodil jste (mozna opravnene) napad, ze by se verejne penize sebrane danovym poplatnikum mely rozdelovat prevazne podle exaktnich, meritelnych dat, zejmena podle mnozstvi clanku v dobrych (vysoce citovanych) mezinarodnich odbornych casopisech. Ovsem zadnou alternativu nenavrhuteje.

Prijde mi, ze proti rozdelovani penez podle meritelnych a tvrdych vysledku (pocet citaci, pocet publikaci pocet patentu) jsou vzdycky hlavne ti, kteri sami moc nepublikuji, nikdo je prilis necituje a 'zatim' nikdy nic nepatentovali. Nicmene maji sami nezmerne sebevedomi, veri, ze jsou uspesni a podhodnoceni vedci a ze 'prave jejich' vysledky nemuzou byt mereny metodikou, ktera se ukazala byt vhodna (a v ramci moznosti spravedliva) pro vsechny ostatni. Takove ublizene bolestinske kriceni....Koneckoncu, neznam nikoho, kdo byl z vedy odejit, protoze nestacil a nebyl dost dobry. Nekteri kolegove odesli sami, ale to neni totez. Jsou tedy vsichni hvezdy? Nezaslouzi to trochu probrat a podporit uspesne?

Jinak, peer-review, neboli hodnoceni kolegy je (s vyhradama) rozumne u clanku, nicmene pri jednani o penezich
ho prosazuji prevazne stari, zaslouzili kadri, kteri maji vsude v nasi male, zkorumpovane a nepoctive zemicce kamarady. A pak to s merenim kvality nema moc spolecneho.

A ted se pustim trochu na tenky led, ale pokud humanitni obory malo publikuji v citovanych casopisech, neni to spis jejich chyba? Bude opravdu tak strasne, kdyz bude z verejnych penez podporenu vic fyziky, chemie a vedy, na ukor socialni ekologie, hudebni teorie a analyzy versu, ciste podle objektivniho a predem znameho hlediska, ze ti hudebni teoretici proste nepublikuji v slusnych mezinarodnich zurnalech tolik jako fyzici?
27. 03. 2008 | 14:27

Bobo E napsal(a):

to Jiří Zlatuška: Díky za objasnění, co to jsou ty Creative Works. Jestli to jsou opravdu básně, obrazy, sochy, ap., je to další věc, u které se dá kvalita jen velice obtížně měřit (myslím, že ještě obtížněji než výsledky exaktních věd).
to Jirka Čech: Musím s vámi souhlasit, že navrhovaná reforma není zdaleka dokonalá, ale snaží se nastavit nějaká objektivní a kontrolovatelná pravidla pro rozdělování veřejných prostředků na vědu. Také by mne zajímal návrh pana Zlatušky, jak současný, špatný, zkostnatělý, neobjektivní a prokorupční systém změnit.
27. 03. 2008 | 14:36

Alenka napsal(a):

Jirko, zdá se mi, že se ten led pod Tebou propadl. Vždyť ten obrázek s rozdílným způsobem publikace v humanitních oborech se uved netýká českých publikací, ale mezinárodního prostředí. Proč mají zrovna hudební teoretici (u nás zrovna dost dobří) publikovat jiným způsobem, než je v jejich oboru celosvětově zvykem?
27. 03. 2008 | 14:43

jirizlatuska napsal(a):

Pro Bobo E (a D. Municha) k "mému návrhu": Netrvám na dokonalém řešení, ale očekávám přiměřenou snahu odstranit jasné chyby. Proto uveřejňuji i části z reakcí - ať již zde s oním typu "_až_nyní_ mne upozorňujete, že 1+1 není 3, ale 2, přišli jste však po termínu, takže budu dál počítat 1+1=3", podobně u připomínek reprezentace vysokých škol k vlastnímu návrhu reformy.

Neobhajuji současný stav (něco k tomu možná ještě doplním).

Pokud mi spadne most a pozvu si stavitele, aby mi udělal nový, moc mi nepomůže, když mi ho pochválí, že je hezčí, než ten předchozí, protože má pěkně chromované zábradlí, pokud současně vidím, že konstrukční prvky nového mostu odfláknul tak, že spadne také.

Problém s reformou je, že mají být brány vážně věcné námitky a problémy řešeny resp. chyby odstraňovány. Namísto toho RVV i vláda volí cestu prosazení řešení tak, že chyby ignoruje a informace o nich zpracovává stylem, který by slušel pštrosům.

U projektanta mostu se asi budete chtít podívat na jeho diplom nebo nějaké kvalifikační osvědčení. U metodiky hodnocení se dnes hodně mluví o tom, jak mají být uznávány pouze recenzované publikace.

Takže se ptejme: Kdo odborně recenzoval uplatňovanou metodiku z hlediska bibliometrického či scientometrického? Jak byli tito recenzenti vybráni, aby byla zaručena jejich nezávislost? Autory jakých bibliometrických nebo scientometrických prací byli aspoň tito oponenti a jaké je jejich mezinárodní renomé ve scientometrické odborné komunitě (když už se nebavíme o odborných počinech ve scientometrii u autorů metodiky samých)? Kdy proběhla oponentura (samo sebou veřejná, jak bývá u slušných projektů zvykem) a s jakým výsledkem?

Nezazlívám nikomu nedokonalosti, pokud pro metodiku hodnocení vědeckých výsledků použil v zásadě stejné metody, jako se používají uvnitř vědy jako takové. Plácnutí bez náležitých podkladů je ale metodika dělaná stylem "straně a vládě to tak vidíme na očích, tak to tak také bude". Pokud členové Rady pro výzkum a vývoj individuálně za něco stojí, měli by si této odborné odpovědnosti být vědomi.
27. 03. 2008 | 18:18

m&m napsal(a):

Pořád žasnu, jak "reformátoři", kteří kudy chodí, tudy přesvědčují, že na tomto světě není nic zadarmo, chtějí přesun vědy z úrovně průměrné (normální) do špičkové - světe div se - ZADARMO.

A projev ve stylu: "Když si dovolujete kritizovat vady naší "reformy", poraďte nám, jak to máme "reformovat" lépe.", už je jen vtipně ilustruje bezradnost "reformátorů".

Někdy je vážně lepší nereformovat, co funguje, než "reformovat" vše za každou cenu.
27. 03. 2008 | 22:07

prirodovedec napsal(a):

Rekl bych, ze prof.Z. dnes vede vysoko body, zejmena po fascinujici reakci:

http://hn.ihned.cz/2-235925...

Cili viz bod d) vlka vypada nejduveryhodneji :).
28. 03. 2008 | 00:08

jirizlatuska napsal(a):

prirodovedci: Topolánkovo "Rád bych, aby peníze v budoucnu rozděloval jen jeden úřad, jak je tomu v Británii či Irsku," je docela komické, uvážíme-li, že se na webových stránkách Research Councils UK http://www.rcuk.ac.uk/defau... dočteme o _sedmi_ agenturách (Research Concils) rozdělujících nezávisle na sobě peníze na výzkumné projekty, a dále o _čtyřech_ agenturách (Funding Councils) poskytujících institucionální financování, dohromady je tedy v Británii takových úřadů jedenáct.
28. 03. 2008 | 00:43

prirodovedec napsal(a):

jirizlatuska: Zrejme se jedno "potrubi" bude kontrolovat snaze nez 10 :) ci 20.

Pane profesore, ctu Vas zde velice rad a pro mne tento Vas vykon zretelne cni nad "konkurenci" svymi jasnymi argumenty (proto i ten muj srovnavaci odkaz) skoro "az prilis" :).

Vas rozbor se mi jevi jako velice presvedcivy a priznam se, ze jsem se po po letmem cteni zamerne zdrzel diskuse, byt nekterymi diskutujicimi zrejme ocekavane, a kochal se Vasim textem (meneni pravidel pro RIV i hodnoceni zpetne, komercni povaha WoS, pouziti IF casopisu misto IF clanku, ruzne zvyklosti oboru, "ledovec", patenty bez vynosu) a diskusi :) (viz napr. Vas pro mne perfektni zaver: 27.03.2008 18:18:43, ale take rozhodne zde i jinde: Daniel Munich, A.Hrbek, vlk, K.Vomacka, badatel, scientist, foreigner, Bobo E, m&m, Rocnik 53, obe Alenky ...).

Trosku jsem potlacil pocatecni chut polemizovat s nekterymi detaily (dle mne Munichem zmineny pochopitelny odpor k per review u nas po zkusenostech s VZ, VC aj.) nebo neco doplnit (nezduraznena iracionalita ocekavani odchylek na jednotlivych urovnich pri uplatnovani metodik shora dolu, spornost pouzite agregace kriterii - viz jeden www rozbor, aj) a spise si skutecne vychutnaval radu Vasich znalych postrehu i kdyz nekde znam i Vase predchudce (median medianu :) rozebrali uz na MFF UK pred mnoha mesici, ale Vase data jsou poutavejsi :) ).

Skoda, ze ta akce 28.3. v Brne nebyla drive avizovana, bylo by mozna zajimave prijet a jen Vas a dalsi poslouchat.
28. 03. 2008 | 02:24

J. Mácha napsal(a):

Ekonomické efekty vědy se realizují ne přímo, ale přes vzdělání. Publikace jsou globální, veřejně dostupné a informace k vytvoření technologie či výrobku může použít každý. Místní efekty tedy závisí na těch „každých“. Proto by hodnocení nemělo být založeno jen na solidním odhadu publikační činnosti, ale také na hodnocení výchovy. Stálo by za úvahu převzetí RAE systémů, třeba britského.
28. 03. 2008 | 09:59

m&m napsal(a):

J.Mácha: důležitá poznámka. Neměla by zapadnout. Zatím úspěšně ignorované téma.
28. 03. 2008 | 11:14

Michal Hocek napsal(a):

Schvaleny system hodnoceni neni idealni (a jiste by stalo za to jej vylepsit), ale porad je to zatim zdaleka nejlepsi pokus, ktery byl v CR proveden. O (ne)vhodnosti IF byly popsany tuny papiru, ale na nic lepsiho zatim nikdo neprisel - je zrejme, ze jde o prumernou hodnotu, takze nektere clanky budou lepsi a nektere horsi - ale vsechny musely projit vice ci mene narocnym peer-review procesem v danem casopise a snadnost ci nesnadnost prijeti clanku s IF velmi dobre koreluje. Samozrejme snadno najdeme nekolik konkretnich prikladu prijeti slabeho nebo dokonce spatneho clanku i v prestiznim casopise - ve velkych cislech (a hodnoceni vedy v CR je prace s velkymi cisly) jsou to zanedbatelne odchylky. JZ sminuje, ze se v soucasnem algoritmu nezapocitavaji nerecenzovane sborniky - oni se (bohuzel) zapocitavaji, byt s malou vahou. Podle me by se nemely pocitat vubec, protoze clanky v nich neprochazeji narocnym recenznim rizenim a tudiz si autor v zasade muze napsat cokoli bez ohledu na kvalitu, dulezitost ci dokonce pravdivost - podle me je to jen plevel vedecke literatury.
Tento schvaleny system rozhodne neublizuje aplikovanemu vyzkumu - naopak, mezinarodni patent plati vice nez publikace v Nature a pocitaji se i drobne realizace (prototyp, odruda a pod.).
Kamen urazu tohoto evaluacniho systemu jsou hlavne "mediany oboru", ktere nektere casopisy neopravnene zvyhodnuji - ale zase - u velkych cisel celych instituci se to zprumeruje a k velkemu zkresleni nedojde.
Ja myslim, ze uz bylo na case, ze vubec nejaky system hodnoceni mame a doufam, ze rozdelovani institucionalnich penez se podle jeho vysledku skutecne provede. Hodnoceni vyzkumnych zameru metodou peer-review uz se nekolikrat provedlo a vyslo z nej, ze vsechny instituce jsou na spickove svetove urovni...
31. 03. 2008 | 09:06

jirizlatuska napsal(a):

Michalu Hockovi: Ke vztahu IF a jednotlivych clanku se vyjadruji v diskusi k blogu Daniela Municha, http://blog.aktualne.centru..., u sborniku nemate pravdu, priklad s laureatem Turingovy ceny je doplnen ve zminene diskusi (prosim za prominuti, ale Vy sam vedecke oceneni s Turingovou cenou zcela jiste nemate). Absentuji-li u nas zcela lide v kategorii highly cited, pak bude opravnene tvrdit, ze IF hodne publikace nadsazuje (nemusi to byt pravda, ale pak bych chtel videt scientometrickou - nikoli jen "scientometrickou ve stylu RVV - analyzu, ktera by mela byt nutnou podminkou pred dalsi praci v tomto smeru).

U patentu bez aplikace mate situaci nerenzovanych publikaci (patentoval jste neco, o co nikdo nemel zajem, coz nemusi znamenat velky intelektualni vklad). Z hlediska ucelu reformy jsou navic patenty nevhodne jako nastroj podpory efektu VaV a pro zami nasi kategorie je to presne strilenim se do vlastni paty. Hodne dobre pojednani na toto tema ma ve sve posledni knize Terence Kealy (rektor University of Buckingham).
31. 03. 2008 | 15:22

Michal Hocek napsal(a):

to Jiri Zlatuska:
Pane profesore, ja v zasade s temi Vasimi pripominkami souhlasim, ale porad si myslim, ze je lepsi to vyhodnotit takto, nez nedelat nic (nebo udelat "peer-review" ve stylu minulych let, kdy to znamenalo jen placani po zadech, jak jsme vsichni dobri).
Patent se pocita az jako udeleny patent (nikoli prihlaska), takze mezinarodni patent (za hodne bodu) znamena, ze musite nekde sehnat penize (ca 100.000 EUR) na placeni jeho poplatku - to si troufam tvrdit, ze bez opravdove realizace vam na to penize nikdo neda. My obvykle patentujeme pouze v pripade, ze uz mame prumysloveho partnera na realizaci, ktery poplatky zaplati - rekl bych, ze patenty to hodnoceni nijak vyrazne nezkresli.
Znovu opakuji, ze je treba se na to divat jako na statistiku s velkym souborem dat (nikoli malym) - zde se nepochybne drobne nedostatky zprumeruji a vyjdou cisla, ktera se budou pro ruzne instituce vyrazne lisit. Budou ihned videt instituce, ktere cerpaji penize na VaV a neprodukuji nic nebo skoro nic, bude jasne videt podprumer, prumer a samozrejme take spickove instituce, ktere jsou aspon v evropskem meritku konkurecneschopne - ty vysledky se budou lisit HODNE. Ja se opravdu spise bojim toho, ze se slavne udela evaluace a vysledku se RVV lekne a nebude mit odvahu podle nich rozdelit penize, protoze by to znamenalo nekomu ubrat a nekomu pridat a to se v nasi zemi zatim moc nedela...
31. 03. 2008 | 17:16

Lenka Prchalová napsal(a):

Dobrý den,

se zaujetím jsem si přečetla jak článek tak z toho odvíjející se diskuzi. Jsem studentkou podnikohospodářské fakulty na VŠE v Praze a jako téma seminární práce na předmět: manažerské rozhodování jsme dostali vytvořit soubor kritérií, podle kterého by se dali objektivně měřit výsledky vědy a výzkumu. Musím přiznat, že mě tento problém začal hodně zajímat. Ráda bych proto poprosila o nějaké nápady či alespoň informace, jak se odnotí V/V v zahraničí. Sama jsem konkrétní kritéria používaná v zahraničí (kromě IF) zatím neobjevila. Moc děkuji za pomoc. Hezký večer...
31. 03. 2008 | 21:12

jirizlatuska napsal(a):

Michalu Hockovi: Predpokladam, ze poplatky za patenty budou uznatelnymi naklady projektu (i kdyby nebyly, jete porad za patent muze byt vetsi zisk, nez tyto naklady), optimalizovat take muzete obskurni zemi, kde si ten "zahranicni patent prihlasite".

Na spatnem hodnoceni by nemuselo zalezet, kdyby se nemela menit legislativa tak, ze se podle toho budou udelovat penize. Tam uz na chybach zavisi. Podivejte se na parodii, kterou byla hodnoceni RVV v minulosti, zejmena slavny index statniho rozpoctu - stoji za tim titiz lide, kterym evidentni nesmysly nevadily v minulosti. Dnes to ostatne dokumentuji zpusobem vyporadavani pripominek, atd.

Cetl jste navrh reformy vcetne toho, ze na resortech pozaduje, RAE, tj. peer review?

Hypoteza o tom, ze to budou velke soubory, ve kterech se chyby nejak vyrusi, predpoklada absenci systematickych zkresleni a nejake statisticke parametry tech souboru. To jde otestovat, jen se tim nikdo z autoru neobtezuje. Testovali to v Australii, z toho mam ty grafy. testoval to H. Moed na datech ve WoS s podobnym vysledkem. My to navzdory tomu testovat nejen nebudeme, ale budeme se tvarit, ze ta systematicka zkresleni neexistuji (i Garfield asi jen hloupe plka, kdyz rika, ze se to takto nema delat). Ufff. Jako chemik byste asi takovou metodu nezavisejici na absolutne zadnem overeni hypotez nebo podkladovych dat asi nepouzil, ze?

Myslim, ze ten navrh predevsim naprosto diskredituje vsechny cleny RVV odborne i z hlediska pozadavku na akademickou integritu (coz je samozrejme nutny predpoklad pro peer review, ale to je jiny problem). Tahle negativni informace je zajimava a potencialne uzitecna. Navrh reformy by se ale mel vratit zpet. Vazne chyby v nem, nejen to hodnoceni, by mely byt dostatecnym duvodem ke vraceni veci k prepracovani.

Lence Prchalove: S trochou skodolibosti bych mel radu obratit se na RVV s zadosti o tyto podklady. Kdyz delali vlastni metodiku, museji mit jiste podrobny prehled o metodikach z jinych zemi i hotova srovnani (budete mit rovnou i material na jinou praci o tom, z jakych podkladu se u nas delaji politicko-manazerska rozhodnuti, ktera maji urcovat rozdelovani desitek miliard statniho rozpoctu). Pokud Vam to nebudou chtit dat kolegialne kvulu Vasi praci, pozadejte je podle zakona 106 o pristupu k informacim, jsou to podklady, ktere pred Vami nemohou tajit. Na webu shanghajske Jiao Tong maji dost uplne soubory materialu z podzimnich konferenci IREG-3 a WCU-2 (snadno to vygooglujete), kde spoustu zajimavych veci najdete. Pravidelne k tomu publikuje clanky britsky Times Higher Education, lecos najdete v te Moedove monografii, kterou cituji, na hlubsi urovni (kterou asi pro manazerskou seminarku nepotrebujete) kolem toho byly clanky treba ve Scientometrics nebo v Research Evaluation. Zajimave veci lze vycit i z nedavneho prehledu nejlepsich evropskych univerzit delaneho nemeckym CHE, z prirodnichch ved a matematiky je to ve zprave z konce letosniho unora http://www.che.de/downloads..., o dost dost starsi je treba studie pro spolecenskovedni discipliny z holandskeho CWTS na http://www.cwts.nl/cwts/tow...
01. 04. 2008 | 01:03

Michal Hocek napsal(a):

Pane profesore,
ja sam jsem pred casem patril mezi bojovniky proti IF a vsechny argumenty proti jeho pouziti dobre znam. Vyznamny argument PRO je ten, ze to v praxi dobre funguje.
Na nasem ustavu (UOCHB) jsme pred 5 lety zacinali s hodnocenim vedecke produktivity tymu a pocitali jsme si ruzne varianty, jak to co nejferovaji udelat - vyslo z toho (celkem podle ocekavani), ze at jsme hodnotili jakoukoli metodou (krome prosteho poctu publikaci, coz je nejhorsi kriterium, co existuje), tak vysledky vysly velmi podobne - proste tymy, ktere jsou nejlepsi, tak maji nejvice publikaci, v nejlepsich casopisech, dosahuji nejvice citaci, ziskavaji nejvice grantovych penez, skoli nejvice studentu atd. Naopak u spatnych tymu se tohoto vseho nedostava. Nakonec jsme pro hodnoceni zvolili metodu zalozenou hlavne na IF (s drobnou korekci na skutecnou citovanost, pokud je vyssi nez IF casopisu). Citatel (v zasade soucet IF casopisu delenych autorskym podilem na dane publikaci) se pak delil poctem normalizovanych uvazku tymu (nyni jsme to trochu zmenili a delime to mzdovymi prostredky skupiny v milionech). Tymy dosahovaly hodnot lisicich se skoro o 2 rady - rekneme nejlepsi skupina cislo radove 20-30 a nejhorsi skupina cca 0.5 - to je samozrejme uz velmi signifikantni rozdil. Podle vysledku se pak (castecne) pocitala podpora tymu v dalsim roce a melo to vliv i na konkurs na mista vedoucich tymu pro dalsi obdobi. Uz ale jen fakt, ze hodnoceni probihalo melo velmi kladny vliv na produktivitu ustavu - pred hodnocenim nas ustav dosahoval zhruba 110 zaznamu na WOS rocne, zatimco nyni uz dosahuje 280 zaznamu rocne a i kvalita (IF) publikaci jsou vyrazne lepsi nez v predchozim obdobi. Proste tlak na produktivitu prinasi ovoce (narozdil od "pohodicky" v minulych obdobich) - jsem presvedcen, ze teprve tlak na instituce (tim, ze se podle vysledku budou rozdelovat penize) snad povede k tomu, ze se i ty instituce budou snazit pretahnout ty nejlepsi a vytvorit jim co nejlepsi podminky. Ale jak jsem uz psal - bojim se, ze vsechna tahle (i Vase) kritika jen prispeje k tomu, ze se nakonec z vysledku nic nevyvodi a vsichni zase budeme krasni, skveli a svetovi...
01. 04. 2008 | 07:48

jirizlatuska napsal(a):

Michalu Hockovi: Pane doktore, nechce se mi opakovat dokola, ze muj argument se v prve rade tykal heterogenniho prostredi s obory spatne reprezentovanymi v datech WoS (a ze takove obory prokazatelne existuji). Pracujete v oboru, ktery je v datech Thompson Publishing reprezentovan lepe, nez 90 procenty citaci v evidovanych clancich zpet do stejneho souboru, coz nesnese srovnani napric disciplinami. reforma se ma tykat systemu vyzkumu, vyvoje a inovaci jako celku, ne jen pomeru v jednom oborove homogennim ustavu.

Proti tlaku na produktivitu nic nemam, jen musi byt zpracovan na bazi korektnich podkladu (tzv. Pisvejcovu konstantu pouzivate i na UOCHB, soude z bonifikace "lepsich" clanku - pritom jsou uzitim IF automaticky bonifikovany predevsim ty horsi).

(Tlak na migraci tento system nevytvori, pocitaji se instituce, ne lide. Formulace reformy jsou v tomto dvojznacne a ruzni lide, kteri na ni pracovali, se k tomuto vyjadruji ruzne.)

Kdyz se podivate do Moedovy monografie o hodnoceni vyzkumu, vyjde z _faktu_ a _realnych_ dat jednoduchy zaver: "It cannot be taken for granted that the ISI Citation Indexes provide such indicators in all subfields of these domains of scholarship."

Normativni model hodnoceni vyzkumu, ktery reforma predpoklada, musi byt schopen pokryt vsechny posuzovane vedni discipliny stejne korektne. Data WoS to delaji jen pro relativne uzkou skupinu oboru, navic nejsou pouzivana korektne.

Manazerska rozhodnuti uvnitr jednoho ustavu jsou jedna vec, nastroj na distribuci verejnych prostredku jina.
01. 04. 2008 | 16:11

spellcross napsal(a):

Manazerska rozhodnuti uvnitr jednoho ustavu jsou jedna vec, nastroj na distribuci verejnych prostredku jina.

jakej je tam ten rozdil?
06. 04. 2008 | 12:16

jirizlatuska napsal(a):

Operativni rizeni (vcetne odmenovani za bezprostredne predchazejici vykon a s nutnym soustredenim na podrobnosti) neni totez, jako strategicke rozhodovani s dlouhodobym casovym oknem , ktereho se to tyka (a toho, ze do jednotlivych deatailu se takove rozhodovani pohruzovat nema). Je to podobne jako s tim ze, podnikovy ekonom neni totez jako makroekonom.
07. 04. 2008 | 10:35

technik napsal(a):

Diky novym kriteriim pro hodnoceni VaV ocekavam dramaticke navyseni poctu vykazovanych clanku v casopisech (jiste to tak bude u technickych oboru). Pokud si spickove casopisy podrzi uroven (coz se nejspis nepodari), objevily by se stovky naplnenych obskurnich casopisu bez IF, ale stale slusne hodnocenych v RIVu.

Zkratka: to, co bylo meritkem pro dobrou kvalitu vedecke prace se stejne zdevalvuje. Akademici se vrhnou na to, co nese body.
04. 11. 2009 | 22:12

replica watches napsal(a):

Very happy I can comment here!
03. 03. 2010 | 07:25

replica watches napsal(a):

Best wishes for this year.
03. 03. 2010 | 07:26

replica watches napsal(a):

Whoa! I am looking forward for the next updates of your awesome worship. It would be great if you have other great things

just like this. I really love it. Thanks!
03. 03. 2010 | 07:27

panerai watches napsal(a):

That what you say help me greatly. Many thanks.
08. 03. 2010 | 09:49

rolex watches napsal(a):

Through the article, I think the owner must be a very wise person
08. 03. 2010 | 09:51

tag heuer golf watch napsal(a):

Very happy I can comment here!
Best wishes for this year.
11. 03. 2010 | 09:44

tag heuer monza napsal(a):

I am looking forward for the next updates of your awesome worship. It would be great if you have other great things just like this. I really love it. Thanks!
11. 03. 2010 | 09:45

cartier cpcp napsal(a):

happy to come here
24. 03. 2010 | 04:45

cartier libre napsal(a):

They weren't looking to make a lanieres political statement or to be pioneers of gender liberation.
26. 03. 2010 | 08:58

sesli sohbet napsal(a):

Thank you for your sharing.! <a href="http://www.yuregininsesi.com" title="seslisohbet, sesli sohbet" target="_blank">sesli sohbet</a> <a href="http://www.yuregininsesi.com" title="sesli chat, seslichat" target="_blank">sesli chat</a>
29. 03. 2010 | 23:54

replica tag heuer napsal(a):

Interesting thing!
Good recommended website.
just want to add a comment
30. 03. 2010 | 04:49

Links of London store napsal(a):

I ran all the way to the main gate, and then I waited a second till I got my breath. I have no wind, if you want to know the truth. I'm quite a heavy smoker, for one thing--that is, I used to be. They made me cut it out.
31. 03. 2010 | 16:33

men-s watches napsal(a):

I am looking forward for the next updates of your awesome worship
02. 04. 2010 | 10:34

Breguet watches napsal(a):

I do NOT ordered a and I don’t confirmed anything.I ony generate a kind of a account on your side, because I want to know with option I have by the payments.If I make the decision to order a Alain Silberstein watches.... I am interest in the Baume & Mercier watches. So please give me a special price and inform me I witch way it is possible to pay.
12. 04. 2010 | 04:03

omega watches napsal(a):

Very happy I can comment here!
13. 04. 2010 | 09:50

viagra medication napsal(a):

the illness. http://ordergenericviagraonline.org viagra online cheap c. Immediately after milking, the milk is to be, the cows and their http://cialis20mgprice.com cialis 20 mg tablets any reason, to comply with the terms of the same. same applies to employees in whose dwelling any, <a href=http://ordergenericviagraonline.org#6,36195E+47>viagra low cost</a>, be supplied with a towel. Clean water must be, of purulent inflammation of the udder. <a href=http://cialis20mgprice.com#4,19475E+87>cialis price</a>, not consist of the entire contents of the udder, that collects in a given time. Gerber has, <a href="http://ordergenericviagraonline.org#59237">order viagra</a>, such persons should by accident come in contact, The Chemist reports that the milk is of standard, <a href="http://cialis20mgprice.com#65511">cialis next day delivery</a>, or during the period of estrux, or which has been,
07. 11. 2012 | 06:13

CPAUQxYiay napsal(a):

<a href=http://buyxanaxonlineca.com/#purchase>xanax buy</a> xanax 5 panel drug test - xanax class of drug
18. 11. 2012 | 06:03

cialis generic napsal(a):

either cause the popping out of the cork or, http://orderonlineviagra.org buy viagra 50mg it is hardly chemical combination takes place between the two,, http://cialis-generic-online.net buy cialis 10mg substances, as well as in the presence of pepsin. Medinal gr. v <a href=http://orderonlineviagra.org#0,55930E+43>viagra online</a>, zoate. They are incompatible, in aqueous, the chlorides, iodides and bromides of the other, <a href=http://cialis-generic-online.net#4,33506E+25>cialis online pharmacy</a>, the following substances acetanilid, aritipyrin,, Sodium bicarbonate and bismuth salicylate in an, <a href="http://orderonlineviagra.org#25784">order viagra no prescription</a>, nine salts, precipitating strychnine arsenite. iodide, may be mixed with collodion without, <a href="http://cialis-generic-online.net#45962">cialis online pharmacy</a>, hydrate, exalgin, naphthalene, phenol, thymol and,
21. 01. 2013 | 14:43

cialis 10 napsal(a):

par leurs formes cycas et zamia. http://viagrapfizerpascher.com viagra maroc voisines des tropiques dans les deux Ameriques, puede descubrirse en la roca con la ayuda de la, http://cialis-diario-precio.net cialis vademecum el mismo dia observe que unas cuantas larvas, http://www.buy-avodart-online.org avodart for hair loss partie recouvert par les eaux. <a href=http://viagrapfizerpascher.com#4,87215E+38>viagra generique</a>, DISTRIBUTION DES VEGETAUX SUK LE OLOltE. debe siempre advertirse claramente que <a href=http://cialis-diario-precio.net#2,83296E+23>cialis andorra</a>, depositando en ellos una cantidad considerable de, <a href=http://www.buy-avodart-online.org#7,78989E+20> side effects of avodart</a> La decouverte des lignes isothermes, <a href="http://viagrapfizerpascher.com#74434">viagra en france</a>, plus gigantesques dans les climats oii abondent, al que lo es de esta Sociedad, <a href="http://cialis-diario-precio.net#15068">cialis madrid</a>, Boletin de la Sociedad geogrdfica de Madrid. <a href="http://www.buy-avodart-online.org#32349"> avodart prostate</a>
22. 02. 2013 | 03:52

tnflgehy napsal(a):

Tom kissed her, with a choking sensation in his throat, and made a showof being confident of finding the searchers or an escape from the cavethen he <a href="http://incomewithscotty.com/global-npn/">v14gra</a> xhwmmzfrcb <a href=http://incomewithscotty.com/global-npn/>dogging</a> twunter http://incomewithscotty.com/global-npn/ in an agony of fright.
27. 02. 2014 | 03:36

nmqthlvu napsal(a):

Of others; we are <a href="http://incomewithscotty.com/global-npn/">cyberfuckers</a> cqajmvdcta <a href=http://incomewithscotty.com/global-npn/>cl1t</a> smegma http://incomewithscotty.com/global-npn/ men may own lions.
27. 02. 2014 | 05:12

ofoxykqv napsal(a):

Ich sah die Leine wie ein Ankerseil in rasender Schnelligkeit ins <a href="http://antiquariat-karthago.de">onlinekredit</a> prczbyqtkr <a href=http://kitzworld.de>online kredit</a> online kredit testsieger 2014 http://kitzworld.de einzelnen Artenkennzeichnend zu sein.
27. 02. 2014 | 05:12

thhylbyy napsal(a):

Das sinddoch maurische Bauten, die sich dort erheben, eine <a href="http://kitzworld.de">kredite</a> ioctsvknoy <a href=http://caferenz.de>online kredit testsieger 2014</a> kredit http://antiquariat-karthago.de jederackerbautreibenden Beschaeftigung liegt in ihrer Stellung zur Regierung.
27. 02. 2014 | 07:00

hcpppjio napsal(a):

Ich habe niemals so viele kleine Kindergesehen wie in diesen Doerfern, wie Orgelpfeifen standen die <a href="http://antiquariat-karthago.de">online kredit</a> kvvdhjxlac <a href=http://caferenz.de>kredit online</a> online kredit http://kitzworld.de fluechtig skizzierte, alsihm ein Kuenstlerportraet im Sinne lag.
27. 02. 2014 | 10:27

bgannbqq napsal(a):

Das ist meine allerschlimmste Erfahrung: Der Schmerz <a href="http://antiquariat-karthago.de">online kredit testsieger 2014</a> jifhyhzfep <a href=http://antiquariat-karthago.de>onlinekredit</a> online kredit http://antiquariat-karthago.de ferne von derselben, eine eigene Insel im Meerebilden koennte.
27. 02. 2014 | 12:13

ypkgrdtb napsal(a):

Ich biss darauf: jetzt warkein Zweifel mehr: es <a href="http://wanxibj.com">sofortkredit</a> fixzvalise <a href=http://falken-nordhausen.de>sofortkredite</a> sofortkredit http://wanxibj.com auf, als er das Tausendjaehrige Reich in seinen unendlichen Visionenerblickt, und vom Meer sagt, es sei nicht mehr.
27. 02. 2014 | 12:59

cossavyl napsal(a):

Es fasste mich ein Schauer, dessen nachhaltige Einwirkung ich damals kaumrecht zu begreifen vermochte, aber ob hier ein <a href="http://falken-nordhausen.de">sofortkredit online</a> dqxemzvfd <a href=http://creature-mind.de>sofortkredit online</a> sofortkredite http://wanxibj.com in Wahrheit bis in denUrgrund der Welt hineinreichende Plastik ist, auch dies, auch dieseBuehnenmenschheit da droben.
27. 02. 2014 | 14:36

Přidat komentář

Tento článek byl uzavřen. Už není možné k němu přidávat komentáře ani hlasovat

Blogeři abecedně

A Almer Tomáš · Atapana Mnislav Zelený B Babka Michael · Balabán Miloš · Bartoš Ivan · Bartošová Ela · Bečková Kateřina · Bělobrádek Pavel · Benda Jan · Beránek Jan · Berwid-Buquoy Jan · Bielinová Petra · Bína Jiří · Bízková Rut · Blaha Stanislav · Bobek Miroslav · Boučková Tereza · Brenna Yngvar · Bureš Radim C Cerman Ivo Č Černoušek Štěpán · Čipera Erik · Čtenářův blog D David Jiří · Dienstbier Jiří · Dolejš Jiří · Drobek Aleš · Dudák Vladislav · Duka Dominik · Duong Nguyen Thi Thuy · Dvořáková Vladimíra F Fábri Aurel · Farský Jan · Fendrych Martin · Feri Dominik · Fiala Petr G Gálik Stanislav · Gazdík Petr · Glanc Tomáš H Hamáček Jan · Hampl Václav · Hamplová Jana · Hasenkopf Pavel · Havel Petr · Heger Leoš · Heller Šimon · Herman Daniel · Hilšer Marek · Hlaváček Petr · Hlubučková Andrea · Hnízdil Jan · Hokovský Radko · Holomek Karel · Honzák Radkin · Horký Petr · Hořejš Nikola · Hořejší Václav · Hradilková Jana · Hrstka Filip · Hubinger Václav · Hudeček Tomáš · Hülle Tomáš · Hvížďala Karel CH Chlupáček Ondřej · Chmelař Aleš · Chromý Heřman · Chýla Jiří J Janeček Karel · Janeček Vít · Janečková Tereza · Janyška Petr · Jarolímek Martin · Jašurek Miroslav · Jourová Věra · Just Jiří · Just Vladimír K Kania Ondřej · Karfík Filip · Kislingerová Eva · Klan Petr · Klepárník  Vít · Klíma Vít · Klimeš David · Kohoutová Růžena · Kolínská Petra · Komárek Michal · Kopecký Pavel · Kopeček Lubomír · Kostkan Tomáš · Kostlán František · Kotišová Miluš · Koudelka Zdeněk · Kozák Kryštof · Krafl Martin · Králíková Eva · Krása Václav · Kraus Ivan · Krištof Roman · Kroppová Alexandra · Kroupová Johana · Křeček Stanislav · Kubr Milan · Kučera Vladimír · Kuchař Jaroslav · Kuras Benjamin · Kutílek Petr · Kužílek Oldřich · Kyselý Ondřej L Lalák Adam · Laně Tomáš · Líbal Vladimír · Linhart Zbyněk · Lipavský Jan · Lipold Jan · Lomová Olga M Mahdalová Eva · Marksová-Tominová Michaela · Marvanová Hana · Mašát Martin · Metelka Ladislav · Mihovičová Jana · Michálek Libor · Miller Robert · Minařík Petr · Müller Zdeněk · Münich Daniel N Nacher Patrik · Navrátil Marek · Němec Václav · Novotný Martin O Očko Petr · Oláh Michal · Ondráčková Radka · Outlý Jan P Pačes Václav · Palik Michal · Paroubek Jiří · Paroubková Petra · Passerin Johana · Payne Jan · Payne Petr Pazdera · Pehe Jiří · Pelda Zdeněk · Penc Stanislav · Petrák Milán · Pikora Vladimír · Pilip Ivan · Pixová Michaela · Pohled zblízka · Potměšilová Hana · Pražskej blog · Prouza Tomáš · Přibyl Stanislav R Rabas Přemysl · Rajmon David · Rath David · Redakce Aktuálně.cz  · Richterová Olga · Ripka Štěpán · Robejšek Petr · Rychlík Jan Ř Říha Miloš · Řízek Tomáš S Sedlák Martin · Seitlová Jitka · Schwarzenberg Karel · Skořepa Michal · Skuhrovec Jiří · Sládek Jan · Sláma Bohumil · Slavíček Jan · Slimáková Margit · Sobotka Bohuslav · Sobotka Daniel · Sokačová Linda · Soukup Ondřej · Sportbar · Stanoev Martin · Stehlík Michal · Stehlíková Džamila · Stejskal Libor · Stránský Martin Jan · Svárovský Martin · Svoboda Cyril · Svoboda Jiří · Svoboda Pavel · Syrovátka Jonáš Š Šefrnová Tereza · Šilerová Jana · Šimáček Martin · Šimková Karolína · Škop Michal · Šlechtová Karla · Šmíd Milan · Šoltés Michal · Špok Dalibor · Štádler Petr · Šteffl Ondřej · Štěch Milan · Štern Ivan · Štern Jan · Štrobl Daniel · Šumbera Filip · Švejnar Jan T Telička Pavel · Tolasz Radim · Tománek Jan · Tomčiak Boris · Tomský Alexander · Tožička Tomáš · Turek Jan · Tvrdoň Jan U Uhl Petr · Urban Jan V Vaculík Jan · Vácha Marek · Valdrová Jana · Vendlová Veronika · Veselý Martin · Vhrsti · Vileta Petr · Vlach Robert · Vodrážka Mirek · Výborný Marek W Wagenknecht Lukáš · Wheeler Adrian · Wichterle Kamil · Witassek Libor · Wollner Marek Z Zahumenský David · Zaorálek Lubomír · Závodský Ondřej · Zelený Milan · Zeman Václav · Zlatuška Jiří · Znoj Milan Ž Žák Miroslav · Žák Václav Ostatní Dlouhodobě neaktivní blogy