Věda o vědě: koho to zajímá

28. 03. 2008 | 11:05
Přečteno 7841 krát
Vláda schválila reformu systému výzkumu, vývoje a inovací (VaV). Zájem médií je více než vlažný. Pokud se podaří reformu prosadit do praxe, bude to pro českou vědu obrovská změna. Otázka jak organizovat a financovat vědu je poměrně velká věda. Pro naprostou většinů lidí však nudná a nedůležitá záležitost. Asi i proto téma reformy neplní titulky novin jako třeba reforma zdravotnictví. Nedělám si velké naděje, že následující kritické zamyšlení ekonomů upoutá na blogu větší pozornost, ale zkusím to.

Jen pro připomenutí: veřejné prostředky na vědu stát posílá poskytovatelům, kteří je následně přerozdělují jednotlivým příjemcům na základě hodnocení jejich práce. Ministerstvo školství je tak poskytovatelem prostředků na vědu na vysokých školách a Akademie věd na svých ústavech. Schválená reforma financování VaV sice řeší, jak se budou rozdělovat peníze mezi poskytovatele, ale příliš se nevěnuje tomu, jak budou rozdělovat peníze poskytovatelé. To je dost překvapivé, protože Rada vlády celou reformu motivuje nedostatečně kvalitní hodnotitelskou prací poskytovatelů a proklamovaným cílem reformy je zkvalitnit práci poskytovatelů, což má vést k efektivnějšímu hodnocení a odměňování příjemců a v konečném důsledku motivovat vědce ke kvalitnější práci. S jis­tým zjednodušením lze říci, že stát dosud rozděloval peníze poskytovatelům valivou metodou: dával peněz stejně jako loni plus plošný procentní nárůst, což mnohé poskytovatele nemotivovalo ke kvalitnímu hodnocení práce svých příjemců, a právě toto se má změnit.

Hlavním nástrojem "dozoru" nad poskytovateli se podle reformy má stát bodový vzorec odvedeného vědeckého "výkonu". Tento princip financování na základě kvantifikovaného minulého výkonu má být zaveden jen pro asi polovičku všech veřejných prostředků na vědu. Zbytek bude nadále rozdělován na základě kvalitativních hodnocení přes granty a půjde tak za slíbeným výkonem do budoucnosti. Ani velmi oborově "doladěný" bodový vzorec nikdy nebude dokonalý a vždy v něm zbudou nějaké díry, které budou vytvářet bizarní motivace pro některé typy výstupů v některých oborech a ne­dostatečně odměňovat kvalitní výstupy v oborech jiných. To není nic proti vzorci samotnému. Otázka je, zda tento vzorec poskytovatelé slepě převezmou i s jeho nedokonalostmi.

Rada vlády navrhuje bodový vzoreček jako souhrnné měřítko výkonnosti poskytovatelů, ne jako jediné měřítko výkonnosti jednotlivých příjemců. Pokusme se proto detailněji nahlédnout do budoucnosti a uvažovat o roli poskytovatelů v pozměněném systému. Asi všichni hodnotitelé vědy se shodnou na tom, že ideál­ní hodnocení vědecké práce je opřené o biblio­metrické indikátory, ale není na nich mechanicky založené. Ideálně provedené kvalitativní hodnocení (tzv. panely) by z "tvrdých" dat mělo vycházet, ne u nich končit. Je pravděpodobné, že reforma tomuto ideálnímu způsobu hodnocení nahrává, nebo mu naopak bude házet klacky pod nohy? Jako vodítko při uvažování o fungování nového systému si představme tři hypotetické poskytovatele: poskytovatel A bodový vzorec mechanicky převezme a použije pro hodnocení příjemců, poskytovatel B bude bodové výstupy ignorovat a poskytovatel C využije bodových hodnot jako opory pro kvalitativní hodnocení v oborech, kde je to užitečné, a bude je ignorovat jinde. (Podle našeho názoru by byl správný a žádoucí princip C.)

První varianta je logickým důsledkem snahy poskytovatele A maximalizovat svůj bodový a tedy i finanční příjem. Navíc si tak tento poskytovatel ušetří práci s kvalitativním hodnocením. To by znamenalo, že poskytovatel A bude drasticky krátit příjmy řady institucí a někdy i celých oborů, kde se dnes dělá málo kvalitní výzkum nebo jejichž výstupy bodové hodnocení z nějakého důvodu nedoceňuje. Většina pracovníků v postižených oborech bude systém hodnocení a práci poskytovatele tvrdě napadat, protože jim půjde o samotnou existenci. Někteří oprávněně. Zároveň ale budou jiní příjemci využívat děr v bodovém vzorečku a profitovat na produkci publikací pro publikace (tj. publikací s vy­sokou bodovou hodnotou v poměru k vynaložené snaze a skutečné kvalitě publikace). Mechanické přejímání bodových hodnocení tak možná v někte­rých oborech povede k žádoucímu cíli zvýšené kvality vědecké produkce, ale jiné obory povede k produkci pseudovědy a další obory možná nespravedlivě oslabí.

Vezměme teď v úvahu poskytovatele B, který nebude brát bodový vzorec v potaz a bude pokračovat ve způsobu hodnocení a financování svých příjemců, jenž dnes Rada vlády u mnoha poskytovatelů kritizuje. Je pravděpodobné, že pracoviště příjemců, kteří by na bodovém hodnocení vydělali, si budou stěžovat, ale protesty asi nebudou tak silné jako u poskytovatele A, kde některým příjemcům jde o živobytí. Postupem let se tak našemu druhému poskytovateli bude snižovat objem peněz, který bude pro své příjemce od státu dostávat, oproti hypotetickému stavu, kdyby se více držel bodového vzorce. Pokles příjmů případně viditelný vůči vývoji příjmů poskytovatele A pak lze ospravedlňovat nízkou kvalitou příjemců, ne jejich špatným hodnocením a motivací. Nakonec uvažujme o poskytovateli C, který sice nemaximalizuje bodový příjem, ale vzhledem k vy­užití bibliometrických měřítek dostává více prostředků než poskytovatel B. Pracoviště spravovaná poskytovatelem C si tak budou moci dovolit za kvalitnější vědecké výstupy platit lépe než pracoviště poskytovatele B. Navíc se v nich bude dělat kvalitnější věda než u příjemců financovaných poskytovatelem A, kde se často dělají publikace pro body a ne pro vědu. Je tedy možné, že pracoviště poskytovatele C postupně přetáhnou nejlepší vědce ostat­ních poskytovatelů.

Z těchto hypotetických scénářů vyplývá, že konkurence mezi poskytovateli a vnitřní fungování poskytovatelů budou důležité pro faktický způsob implementace reformy. Např. Akademie věd se svými demokratickými institucemi se může rozhodnout, že podpoří obory, jež na bodovém vzorci tratí, ale využívat bodovou hodnotu výstupů jako důležitý faktor při hodnocení oborů, na které se bodové vzorečky hodí. Rozložení demokratických sil uvnitř AV ale bodový vzorec asi ovlivní. Na druhou stranu vnitřní rozhodovací mechanismus MŠMT a vliv jednotlivých příjemců je asi méně jasně definován. Není tedy zřejmé, jestli navrhovaná reforma obsahuje mechanismus, který by na poskytovatele vytvářel efektivní tlak, aby zkvalitnili jejich systém hodnocení a užitečným způsobem kombinovali kvantitativní a kvalitativní informace o svých příjemcích. Diskuse o reformě by se měly kromě vylepšování bodového vzorce soustředit i na tuto otázku.

Štěpán Jurajda a Daniel Münich
otištěno také v Akademickém buletinu AV 3/2008

Komentáře

Aktuálně.cz má zájem poskytovat prostor jen pro korektní a slušně vedenou debatu. Tím, že zde publikujete svůj příspěvek, se zároveň zavazujete dodržovat Kodex diskutujících. Pokud Váš text obsahuje hrubé urážky, vulgarismy, spamy, hanlivá komolení jmen, vzbuzuje podezření z porušení zákona, je celý napsán velkými písmeny či jinak odporuje zdejším pravidlům, vystavujete se riziku, že jej editor smaže.
Přejeme Vám zajímavou a inspirativní výměnu názorů.
Libor Stejskal, editor blogů (blogy@aktualne.cz)

Al Jouda napsal(a):

Copak by poskytovatelem financí pro vědeckou činnost na školách nemohly být místní samosprávné orgány ? Došlo by k rovnoměrnějšímu rozprostření vědecké činnosti po celé republice - i na venkově žijí chytří lidé !
28. 03. 2008 | 11:16

jogín napsal(a):

To Al jouda.
Jo, žijí, jenže postavit a zařídit laboratoř stojí strašlivé prachy, knihovna se světovou literaturou je na druhém konci státu a kvůli práci na unikátním přístroji cestujete půl dne tam a půl dne zpátky.
28. 03. 2008 | 11:46

Al Jouda napsal(a):

To jogín : Měl jsem na mysli větší centra s průmyslem jako je třeba Ostrava, Plzeň a pod. Samosprávné orgány by mohly pro podporu vědecké činnosti v regionu získat i tamní průmyslové magtnáty.
28. 03. 2008 | 11:55

IQ napsal(a):

Upřímnost za upřímnost. Jestli vláda schválila reformu VaV tak a v takové poloze,jak jste napsal dnešní blog, pak vězte, že by bylo lepší kdybyste všichni dostali vybavení třeba na lyže nebo sáňky nebo dlouhodobou dovolenou na Azorech a nechali tyto věci rozhodovat, propracovávat a vést těmi, kdo to umí.
Divil byste se, kdo a kolik lidí se o tyto věci zajímá.
Proč a jak se o tyto významné věci lidé zajímají, naznačují již první komentáře přede mnou.
A již od těchto komentátorů lze odvodit, že o věcech něco ví a znají celkový tristní stav.
28. 03. 2008 | 12:38

jirizlatuska napsal(a):

Je otázka, zda lze bodový systém při způsobu, jak je konstruován, vylepšovat.

Impaktní faktory časopisů nejsou použitelné pro hodnocení kvality publikací v nich. Uvedl jsem ve svém blogu citát Eugena Garfielda, což je nepochybně rozumný důkaz autoritou.

Jeho závěry jsou prokazatelné i v oborech, které jsou WoS vcelku dokonale pokryty:

Statistické rozložení publikací (tzv. Lotkův zákon) generuje jednoduchou skutečnost týkající se rozdělení citací v konkrétním časopise.

Padesát procent citací do časopisu generuje pouhých 15 % článků v něm. Nejcitovanějších 50 % článků generuje 90 % citací. Zbylá polovina článků získá v souhrnu pouhých 10 % citací, ze kterých se odvozuje IF časopisu.

Důsledkem toho je, že přiřazení IF časopisu jednotlivým článkům v něm publikovaným kvalitativní rozdíly mezi články zcela ignoruje.

To je pravý opak toho, co by reforma, která tohoto hodnocení využívá, měla přinášet. V této souvislosti je hodně problematické hovořit vážně o nějakém "vylepšování" tohoto přístupu bez toho, aby byli nejdřív vyhozeni jeho původci.
28. 03. 2008 | 12:49

Boleslav D. napsal(a):

Al Jouda:
To, ze by "prumyslovi magnati" financovali nejak podstatneji vyzkum jinde, nez pripadne v jejich vlastnich podnicich je rozsirena, ale zcela naivni predstava.
Ktery soukromy subjekt by dal na provoz nejakeho vyzkumneho ustavu potrebne stamiliony rocne? O to se proste musi ostarat stat; ten take musi vytvorit optimalni podminky pro co nejsnazsi prevod vysledku vyzkumu do praxe (podpora vzniku spin-off firem, danove stimulace...).
28. 03. 2008 | 12:54

danielmunich napsal(a):

Má smysl nedokonalý bodový systém vylepšovat nebo je lepší ho opustit?

Má smysl ho vylepšovat, pokud
(a) bude sloužit pouze k hrubému rozdělování peněz ze státního rozpočtu několika málo poskytovatelům,

(b) pokud něco poskytovatele (předevěím AV a MŠMT) přinutí začít používat k rozdělování těchto peněz finálním příjemcům vhodnou kombinaci hodnocení (podle impakt faktorů, rozšířené citační analýzy (nad rámec impaktovaných časopisů) a tzv. "peer reviews" a

(c) pokud pro svá hodnocení přijmou světové oborové standardy a nikoliv standardy české, které jsou často kuriózní.

V našm článku se snažíme upozornit právě na neujasněnost toho, jak k hodnocení výsledků vědz poskytovatelé v novém systému přistoupí.
28. 03. 2008 | 13:43

Vaclav Horejsi napsal(a):

jirizlatuska:
Nemate pravdu (a myslim, ze to dokonce dobre vite...). I pritom, ze existuje to vami uvadene rozdeleni citovanosti praci v tech ruznych casopisech s urcitym IF (coz neni nic prekvapiveho, IF je samozrejme statisticky produkt), porad existuje zcela jasna, alespon semikvantitativni korelace mezi "prumernou kvalitou" clanku (chapanou treba nejak intuitivne prislusnymi odborniky) a hodnotou IF (v danem pomerne sirokem oboru).
Kazdy, kdo realne publikuje vedecke prace vi, ze je (prumerne) mnohem tezsi dostat neco do casopisu s IF 10 nez do casopisu s IF 4, nerku-li 1. Prisnost a kvalita recenzniho rizeni v tech vysokoimpaktovych zurnalech je proste NESROVNATELNE vetsi nez v tech nizkoimpaktovych. To, ze spousta clanku i v tech vysokoimpaktovych zurnalech je nakonec stejne malo citovana, je docela prirozene, ale presto i tyto clanky jsou zpravidla mnohem vic citovany nez tech "spodnich 50%" (a dokonce i nez prumer) tech nizkoimpaktovych.
Proste - pokud zalozime hodnoceni na IF, je tom porad velmi dobra mira "kvality" - pokud ovsem nechceme cekat 10 let na to, co z toho se ukaze jako opravdu dulezite (to je samozrejme velice neprakticke).
28. 03. 2008 | 13:50

Jaroslav Turánek napsal(a):

Připravovaná reforma je typu "škatule hejbejte se" s koncem typu "z malého krajíce urvi si nejvíce". Pokud nedojde k faktickému zvýšení výdajů na vědu a jejich lokaci podle skutečných potřeb jednotlivých oborů a ústavů, ničeho se nedosáhne. Nejprve je třeba modernizovat infrastrukturu, opravit zanedbané a zanedbávané budovy ústavů, jejich instrumentální vybavení a doplnit chybějící lidský potenciál (nutná spolupráce vědeckých ústavů a universit). Ke zodpovědnosti za nízkou vědeckou kavalitu pohánět ředitele ústavů. Zatím jsou odvolávání z ryze politických důvodů.
Obnova infrastruktury je nutným prvním krokem, dalším krokem je sladění základního a navazujícího aplikovaného výzkumu, tak aby tyto dvě strany jedné mince v konečném výsledku tyto mince přinášely. Potom si můžeme hrát oblíbenou hru na hodnocení. Reformu by měli dělat lidé, kteří mají představu o skutečné situaci ve vědě, jejich potřebách a mechanismech jejího fungování. Kde skonč finanční prostředky z Operačních programů?
28. 03. 2008 | 14:47

badatel napsal(a):

to Vaclav Horejsi,
problém je v tom, že i v těch vysoce impaktovaných časopisech existují lobby, které do svého kruhu vzájemně si oponujících a doporučujících kolegů neradi někoho vpouštějí. Netvrdím tím, že skutečně silný v výsledek tuto bariéru neprorazí.
Ale kolektiv těch lobbistů zprodukuje daleko více článků, nasbírá více bodů a je lépe hodnocen dle měřítek IF.
Prof.Zlatuška má pravdu a hodnocení vědy v ČR je skutečně Achillovou patou její transformace.
28. 03. 2008 | 15:39

jirizlatuska napsal(a):

Václavu Hořejšímu: Pokud se jedná o jednu velkou třídu autorů, která nesoutěží s ostatními, máte pravdu, ale o to se přece nemá jednat. Potřebujete rozlišení a v tom, spadnou velmi velké rozdíly do jednoho pytle. Na skutečné individuální citace by samozřejmě nebylo potřebné čekat 10 let, ty jsou k dispozici již dnes, jen by se musely shromáždit (i tak je ale téměř jisté, že impakty publikací je vhodné kombinovat s peer review systémem).

Zdůrazňuji navíc potřebu korektního rozlišení mezi obory s radikálně jiným způsobem publikování (ve Vašem oboru pokrývá WoS přes 90 procent citací, takže máte hodně do sebe uzavřený referenční rámec).

Abych uvedl příklad: jeden z loňských laureátů Turingovy ceny (něco jako Nobelova cena v informatice) za loňský rok je profesor z Carnegie Mellon Ed Clarke. Od roku 2000 do roku 2007 má celkem 80 publikací, z toho 21 časopiseckých (většina zbývajících jsou konference a workshopy - ne nutně
tzv. highly ranked). Srovnání, u kterého publikace z časopisu s IF s padesátiprocentní pravděpodobností výrazně nadhodnotíte, zatímco jeho citované publikace mimo média z WoS shodíte dolů, je zcela jistě zásadní deformace a je důsledkem toho zploštění uvnitř časopisu s IF. S Turingovou cenou má jenom jeden článek v časopise s IF 2.9 - JACM a jeden v IEEE Transactions on Software Engineering s IF 2.8, drtivá většina z té menšiny časopiseckého zbytku je v časopisech s IF 0.5-0.8, případně i bez IF. Nejcitovanější je Workshop of Logic Programs. Na svých webových stránkách http://www.cs.cmu.edu/~emc/ si jako 6 nejlepších publikací uvádí 4 konference, 1 casopis a 1 technickou zprávu(!). Podotýkám, že se jedná o základní výzkum.

To zploštění je špatné, jakmile potřebujete porovnávat, a ještě horší, když se nepohybujete jen uvnitř disciplíny, která je jednou z těch, na kterou je WoS konstruován.
28. 03. 2008 | 15:40

Vaclav Horejsi napsal(a):

badatel:
To je oblibena bajka; vyznam tohoto jevu je podle meho nazoru a (nejen mych) zkusenosti velmi maly. Mam sam bohate zkusenosti jako editor nekolika svetovych zurnalu - cely proces je velmi ferovy (i kdyz samozrejme obcas dojde k nejakemu "uletu").
Muze to hrat roli v nekolika uplne nejspickovejsich zurnalech typu Nature, Science, ale jen se podivejte, kolik autorskych tymu publikuje v dobrych a velmi dobrych zurnalech - jsou to tisice a tisice. Takova ze je to "lobby"??

zlatuska:
Vsadim se, ze statisticky vzato to vyjde priblizne stejne, jestli vezmete za zaklad porovnavani IF nebo skutecne citace. Neni tomu tak, ze se nekomu systematicky dari publikovat ve velmi dobrych zurnalech spatne clanky - to je skutecne naprosto vyjimecny jev. Takhle ten system opravdu nefunguje. Casto se to ale pouziva jako vymluva nebo popularni soucast vedeckeho folkloru.
28. 03. 2008 | 16:12

Vlastimil Veselý napsal(a):

Promiňte, pane Turánku, ale zásadně nesouhlasím. Ze všeho nejdříve je nutné změnit systém hodnocení a motivace, teprve pak vše ostatní včetně zvyšování prostředků do VV jdoucích, jinak je to "nalévání do bezedné studny", viz naše zdravotnictví. Pracoval jsem asi 10 let na VŠ v oblasti VV a pokud vím, ten současný systém stále nelze nazvat jinak než kuriozitou, bizarností nebo absurdností.
28. 03. 2008 | 17:03

Jan Konvalinka napsal(a):

Ono vlastně všechno, co se kritického říká na adresu impakt faktoru a "scientometrie" vůbec, je do jisté míry nebo dokonce úplně pravda: je to systém mechanický, pracuje se statistickými veličinami, lze najít příklady a vědecké obory, kde nefunguje vůbec nebo málo, výjimeční jedinci mohou udělat geniální věci i bez mnoha publikací, naopak jiní mohou získat citace mechanickou nenápaditou prací na atraktivní téma.... takové případy se opravdu dají najít. Problém je v tom, co se nabízí jako alternativa. Odpůrci scientometrie se někdy tváří, jakoby před objevením IF a Eugena Garfielda tady panoval bukolický svět, ve kterém moudří starci neomylně a nezaujatě hodnotili vědu a vědce podle odborné excelence. Nuže, nebylo tomu tak. Věda se hodnotila (a z určité části dodnes hodnotí) v horším případě podle mocenského postavení hodnoceného a jeho známosti mezi hodnocenými, v lepším případě podle POČTU publikací, což je měřítko bezpochyby debilní, ať už si o IF myslíme, co chceme. V uzavřeném prostředí malého národa se peer review prostě nedaří poctivě udělat, a možná to ani není možné, na to se příliš dobře známe. Scientometrie je podle mne pokus stanovit alespoň trochu objektivní a mezinárodně srovnatelná měřítka výkonu, která jsou sice nedokonalá, ale pořád ještě lepší, než komise kamarádů ze sousední university.
Souhlasím s prof. Zlatuškou, že jsou obory, kde je scientometrie nepoužitelná vůbec nebo jen omezeně (a klidně se nechám přesvědčit, že informatika je jedním z nich): jsou však velké obory, které spotřebovávají významnou část státních dotací na vědu, kde scientometrie funguje relativně velmi dobře. Pojďme ji použít aspoň tam, kde to jde.
28. 03. 2008 | 17:50

jirizlatuska napsal(a):

Janu Konvalinkovi: Já jsem nikde neřekl, že scientometrie je nepoužitelná nebo že není použitelný IF publikací. V blogu http://blog.aktualne.centru... k problémům hodnocení výzkumu cituji pouze scientometry.

WoS není korektní ani verifikovatelný základ pro scientometrii mimo relativně úzkou skupinu oborů. To je známo a je to například v Moedově obsáhlé monografii, kterou v blogu cituji. Nezpochybňuji principiálně
IF, ale užití IF časopisu místo IF článku (není IF jako IF, když máte pracovat s čísly, také je nahradíte libovolnými jinými jen proto, že čisla jsou to všechno a na velikosti tedy nazávisí) - to zpochybňuje i Garfield a v blogu ho cituji.

Metodologie užívaná Radou pro výzkum a vývoj _není_ korektní aplikací bibliometrie a chyby jsou - abych použil výborného termínu jednoho profesora - na subbakalářské úrovni.

Souhlasím s poslední větou - pojďme ji použít aspoň tam, kde to jde. To ale metodologie "hodnocení výzkumu" ani na ní závisící "reforma" nedělá - nejedná se tam o scientometrii, ale naivní dilentantismus.

Na brněnském semináři "Aktuální problémy hodnocení výzkumu" toho dnes bylo o elemntárních nedostatcích zmiňováno dost, a dobře tam byli reprezentováni i evidentně kompetentní lidé z AV ČR.


Václavu Hořejšímu: Publikace v časopise s dobrým IF bude mít v 85 procentech případů impakt menší, než je impakt časopisu. Lze tedy říci, že se ve velmi dobrých žurnálech systematicky publikují články o dost horší, než je impakt žurnálu (to není totéž, co špatné, ale výsledek to hodně zkresluje).
28. 03. 2008 | 18:52

badatel napsal(a):

to Vaclav Horejsi,
vážený můžete mně sdělit kolik českých vědců je v "isihiglycitated".
Můžete mně pak říci, v čem je z hlediska této citační metriky česká věda světová?
Předem děkuji za odpověď.
28. 03. 2008 | 19:45

Beda napsal(a):

"Publikace v časopise s dobrým IF bude mít v 85 procentech případů impakt menší, než je impakt časopisu." vs. "Dvě třetiny lidí nemají ani průměrnou mzdu."
A přesto je průměr (tedy IF časopisu a průměrný plat) jediná jednoduchá veličina, která nejlépe charakterizuje jak kvalitu článku, tak ekonomický status zaměstnanců.
28. 03. 2008 | 22:40

jirizlatuska napsal(a):

Bedovi: Lituji, ekonomický status zaměstanance je dán pouze jeho vlastní mzdou, nikoli mzdou průměrnou (pokud se nejedná o průměr ze souboru, který obsahuje pouze tohoto jediného pracovníka, ovšem).

Stejně tak kvalitu článku nejlépe charakterizuje přímo impakt tohoto článku - a až někde hodně a hodně dál společnost, ve které se vyskytuje, tedy impakt časopisu.
28. 03. 2008 | 23:13

badatel napsal(a):

Vážení,
pokud ta reforma má být ku prospěchu společnosti ve smyslu ve filmu s Werichem, císařem a pekařem, měla by být zcela jiná.
Musela by především dát vzniknout celé řadě mezičlánků, které propojují základní-aplikovaný výzkum s výrobou a byznysem toho vyrobeného (dříve se tomu říkalo užití).
Pokud ty dříve těžko budované mezičlánky (např. podnikový či resortní výzkum), které sametová revoluce a po ní pionýrský kapitalismus zlikvidovaly, neustanoví jinak a znovu, bude to jen věda pro vědu a mrhání prostředků daňových poplatníků.
Výsledkem bude pouze hrdost na pár jedinců z našeho národa, že něco dosáhli, tedy výsledek morální ve smyslu národ sobě.
Pokud bychom jako ČR za peníze EU byli určeni pro roli vedení v základním výzkumu v EU alespoň v některých oblastech, pak v nich má cenu o IF mluvit a srovnávat se s úrovní světa mimo EU.
V těch oblastech by badatelé měli být v "isihiglycitated" přehledu.
Vážení jinak metriky citací a dobrý IF, pouze ukáží na kvalitu jedince jako vědce a nikoliv celého ústavu, školy apod.
Situace u nás je taková, že ti ostatní tuto kvalitní singularitu spíše vypudí do zahraničí, protože blízko Slunce se těžko žije.
Reforma se musí udělat, ale bohužel jinak než ji schválila vláda, spíše se nechat zaintegrovat EU vědou a jejími vazbami na průmysl, což se i bez reformy pomalu děje.
Ti schopní odejdou do světa a ten zbytek za ty mrzké platy mají právo na život i s nižším IF a bez toho, aby se měřili "isihiglycitated", že ano V.Hořejší.
Vaše,ale ani své jméno jsem zde nenalezl - možná že blbě hledám.
28. 03. 2008 | 23:31

Beda napsal(a):

To jirizlatuska:
Prosím neposouvejte významově můj výrok tak, abyste ho mohl lehce napadnout a vyvrátit.
Plurál ve výroku není od věci. Chápu, že centrální limitní větu se vám vyvracet nechce (a asi nepovede). Nikde nehovořím o jednom zaměstnanci. Hovořím o celé populaci zaměstnanců, nikoliv o jedinci.
Stejně pak jde o to, že průměr (IF časopisu) nejlépe charakterizuje populaci článků v daném časopise. Statistika přece není o jedincích, ale o získání informací o vlastnostech populace. Buď popíráte centrální limitní větu, což si nemyslím, nebo vycházíte z předpokladu, že články v jednom a témže časopise nejsou populací článků v dánem časopise a proto na ně nelze aplikovat statistické metody. Pak si ovšem dovolím zásadně nesouhlasit s tímto východiskem.
29. 03. 2008 | 00:12

jirizlatuska napsal(a):

Bedovi: Ehm, vládní reforma nemá posuzovat (A) populaci článků v časopise (jejím účelem není dát body např. časopisu Nature a pak ho podle toho celý financovat), ale (B) populaci clánků z jednotlivých domácích pracovšť.

Thompson Publishing aka WoS si korektně poěítá individuální impakty k řešení problému (A), pak z nich počítá statistickou chrakteristiku této populace a funguje to dost dobře zejména tam, kde máte 90+% pokrytí článků a citací z daného oboru v databázi WoS.

RVV při řešení (B) místo toho, aby vzala individuální impakty článků z pracoviště a spočítala charakteristiku toho souboru, vezme charakteristiky těch časopiseckých souborů, což je postup, o kterém je známo, že nevede k řešení (B) - říká to přímo Garfield v citaci, kterou uvádím v blogu http://blog.aktualne.centru..., nejdete to vcelku běžně i v literatuře, např. Per O Seglen: Why the impact factor of journals should not be used for evaluating research, British Medical Journal, Vol. 314, Feb. 15, 1997, pp. 498-502.

S centrální limitní větou či jejím popíráním to nemá nic společného, s podmínkami pro její užití (to je takové to "nechť bla bla", co horší učivatelé matematických metod při aplikaci vynechají, před "pak platí", za kterým následuje "věta", která se pak často používá i v kontextu, ve kterém použitelná není) to ovšem souviset může. Ty podmínky v matematických větách jsou obecně důležitější, než názvy těch vět.
29. 03. 2008 | 08:58

prirodovedec napsal(a):

jirizlatuska, Beda: Byl jsem prof.Z. predbehnut. Jen doplnim.

"Stejně pak jde o to, že průměr (IF časopisu) nejlépe charakterizuje populaci článků v daném časopise."

To obecne neni pravda bez toho, ze definujete slovo "nejlepe" (napr. ze minimalizuje rozptyl). Zalezi predevsim na pouziti ciselne charakteristiky.

Viz citovany Seglen (i na www), uvadejici informace o prof.Z. drive zminenem rozdeleni pravdepodobnosti.

Pokud se podivate do praci ve Scientometrics, srovnani IF casopisu oboru se provadi pomoci pruzkumove analyzy dat (Box-Whisker grafy aj.) a neparametrickych testu nikoliv na zakalde testu rovnosti strednich hodnot :).

"Statistika přece není o jedincích, ale o získání informací o vlastnostech populace."

Spravne populace (viz prof.Z. apoznamky o (A) a (B)).

"Buď popíráte centrální limitní větu, což si nemyslím, nebo vycházíte z předpokladu, že články v jednom a témže časopise nejsou populací článků v dánem časopise a proto na ně nelze aplikovat statistické metody."

Domnival jsem se, ze mam dostatecnou predstavivost, ale jak zde chcete aplikovat CLV byt i za nejobecnejsich predpokladu, mi unika. Prosim priblizte lepe. Dekuji. Zde se mi nelibi ani pokus prof.Z. "udelat Vam radost" slovy "ovsem ano").

Viz zmineny Seglen
29. 03. 2008 | 09:19

prirodovedec napsal(a):

jirizlatuska: Bylo by mozne Vami zmineny vcerejsi brnensky seminar priblizit zde? Bud v diskusi nebo v blogu? Pripadne uvest odkazy tam, kde lze nalezt materialy? Dekuji.
29. 03. 2008 | 09:23

jirizlatuska napsal(a):

prirodovedci: Ano, chtěl jsem udělat radost a být tak submisivní, jak to jen dovedu.

Svou prezentaci mohu na nějakou adresu poslat.

Hodně výstižná je charakteristika, kterou prof. Černohorský posílal před seminářem:

"Jedním z podnětů pro operativní uspořádání semináře "Aktuální problémy hodnocení výzkumu" je problematický průběh a výsledky připomínkového řízení k reformním materiálům Rady vlády pro výzkum a vývoj. Jde konkrétně o elementární nedostatky v materiálech RVV, v připomínkovém řízení zřejmě nereflektované (na webových stránkách RVV t.č. "Service Anavailable"), pokud na ně bylo vůbec poukázáno. Pro Vaši informaci připojuji informaci o programu semináře. Zaregistrovalo se na něj kromě organizátorů 18 zájemců z 11 vysokých škol a 2 pracovišť Akademie věd, akademičtí funkcionáři ojediněle (3).

Seminář nemá žádnou rozhodovací pravomoc; nebude na něm přijímáno žádné usnesení. Jeho smyslem je informovat grémia a jednotlivce, zabývající se oficiálně hodnocením výsledků výzkumu, o některých zjištěních zainteresované části vědecké komunity. Může se tak napomoci ke zlepšení odborné úrovně příslušných procesů a jejich výsledků v těch institucím, které o to stojí. Je příznačné, že Rada vlády pro výzkum a vývoj a její orgány se zřejmě rozhodly u vědomí svého mocenského postavení poukazy na vlastní elementární nedostatky ignorovat.

Seminář může tedy nedostatky jen identifikovat a poukázat na možnost jejich včasného odstranění; pokusit se o samotnou nápravu přísluší jiným, mezi které nepochybně patří i vysoké školy, jejich představitelé a jejich reprezentace. Ne že je nejvyšší čas, na něco je už pozdě."

Výstižné bylo závěrečné zhruba ve smyslu (zaznělo to tam lépe): "Je vidět, že král je nahý. Král ale ví, že je král, a udělá si co chce." Plus konstatování, že řadě činovníků stačí, když budou vědět, za krerou kliku v novém systému vzít, namísto toho, aby se systém snažili zlepšit.

Program asi znáte, ale kdyby ne:

10:00-10:10 Bedřich Velický: Úvodní slovo k semináři Aktuální problémy hodnocení výzkumu.
10:10-11:15 Martin Černohorský: Metodologie organizace výzkumu a vývoje.
Z anotace: "Slabiny některých prvků v oficiálních materiálech souvisejících
s koncepčními kroky v organizaci výzkumu a vývoje signalizují problémy, jejichž existence a důsledky mohou rozhodujícím činitelům uniknout. Upozornit na ně je
v zájmu úspěchu připravované reformy."
Jana Musilová:
Hodnocení výsledků výzkumu a vývoje jako jeden z klíčových problémů
realizace reformy výzkumu, vývoje a inovací v České republice.
Z anotace: "Jednou z nejdůležitějších tezí reformy je financování výzkumu a vývoje na základě hodnocení výsledků. Místům odpovědným za realizaci reformy je proto třeba připravit odborně fundované koncepční materiály a prováděcí předpisy pro hodnocení a financování výzkumu, oproštěné od elementárních nedostatků dosud uplatňovaných oficiálních způsobů hodnocení."
Diskuse.
11:15-11:50 Přestávka.
11:50-12:50 Jiří Zlatuška:
Problémy uniformního hodnocení publikačního výstupu
v oborově různorodém prostředí.
Z anotace: "Rada vlády pro výzkum a vývoj byla kdysi koncipována jako poradní orgán vlády, který by měl politikům poskytovat potřebnou odbornou expertízu, kterou v oblasti vědy sami nemají. Zdá se bohužel, že odborná kompetence klesá nepřímo úměrně objemu rozhodovacích pravomocí, které si Rada přisvojuje. Pro reformu systému výzkumu, vývoje a inovací u nás to bohužel není ani trochu dobrý vklad."
Diskuse.
Petr Ráb:
Klady a zápory Metodiky hodnocení výzkumu a vývoje RVV:
alternativní návrh Akademie věd ČR na hodnocení výsledků VaV v ČR.
Z anotace: "Vzhledem k tomu, že použití tohoto systému hodnocení a následného rozdělování prostředků může přinést vážné deformace celé oblasti VaV (například nesprávnou alokaci zdrojů, systémové narušení žádoucí spolupráce VŠ a pracovišť AV ČR atd.), AV ČR zpracovala alternativní návrh k metodice hodnocení a rozdělování prostředků. Druhá část příspěvku se proto zabývá tímto návrhem, jehož hlavním východiskem je teze, že vědecký a odborný výkon má kvantitativní a kvalitativní složku a že současná Metodika RVV zcela pomíjí druhou komponentu.
Diskuse.
12:50-13:00 Bedřich Velický: Shrnutí dopoledního jednání a stanovení odpoledního programu.
29. 03. 2008 | 10:19

Jaroslav Turánek napsal(a):

Vlastimil Veselý: Pane Veselý, příspěvky k tomuto blogu ukazují, jak obtížné je nalézt konsenzus pro objektivní hodnocení. Různé evaulace probíhají neustále, nic nepřinášejí a celá infrastrukuta vědy a školství nám mezitím padá na hlavu. Česká věda ve svém celku je podprůměrná a není účelem hodnocení naprosto přesné určení této podprůměrnosti. Účelem reformy je dostat kvalitu vědy v této zemi na evropskou úroveň a to v širokém komplexu oborů, tak aby byla také podpořena kvalita našeho průmyslu a zemědělství. Souhlasím, že bez skutečné koncepce rozvoje vědy a školství,zvýšení výdajů na vědu nepřinese kýžený výsledek. Objektivní hodnocení musí být součástí koncepce, samo o sobě ji ale nevytváří. Kvalitní věda něco stojí a účinnost přeměny finančních prostředků na hodnotné vědecké výsledky je úměrná kvalitě infrastruktury a lidí, kteří ji řídí.
29. 03. 2008 | 10:19

jirizlatuska napsal(a):

prirodovedci: Ještě si dovolím citovat kousek z e-mailu, který jsem před chvílí dostal, a této debaty i včerejšího semináře se týká:

"Při vazne a vecne odborne debate lidi, kteří hodnoceni rozumeji, uplne zanikl problem "subbakalarskych" chyb a diletantismu RVV. Neboli - když se chytri) vedci přou, (.....) RVV si mne ruce, neboť se tim odvadi pozornost jinam, aneb - je nebezpeci, ze pro same stromy prestane byt videt les, kde si nejen RVV, ale i další mocenske zajmove skupiny budou dal v klidu hospodarit po svem. (Něco
podobneho, avsak daleko kultivovaneji nez ja, rikal včera prof Cernohorsky.
A je to hluboka pravda.)"
29. 03. 2008 | 10:51

Bílý Králík napsal(a):

Bédo, je opravdu průšvih, když se ukazuje, že části reformy, se kterými to celé stojí a padá, dělají lidé, jejichž znalosti sahají po ten Váš průměr, a spíše ani to ne.

Podívejte se na celou Radu pro výzkum a vývoj i na další premiérovy poradce kolem vědy. Rada i poradci by měli umět kvalifikovaně poradit. Místo toho si tam Topolánek toleruje dealery za poradce maskované. Nejste ochoten si všimnout, že hlavní problém spočívá právě v tom? Běda, běda nám, jestli to takhle půjde dál.
29. 03. 2008 | 13:25

Vlastimil Veselý napsal(a):

Jaroslav Turánek: Na potřebě nové koncepce VV se určitě shodneme. Já netvrdím, že je třeba se soustředit na vymyšlení ideálního způsobu měření publikací. Je však třeba zásadně změnit motivaci a systém hodnocení VV.

Není přece možné, aby např. šikovní doktorandi nadále učili za některé "profesory" a "docenty", kteří si jen navzájem rozdělují peníze za granty, aniž by na jejich realizaci odvedli podstatnou část práce a byli vůbec schopni pracovat v cizím jazyce na mezinárodním výzkumu.

Není možné, aby fakulty stále preferovaly pouze publikační činnost místo spolupráce s průmyslem, aby ignorovali úsilí vložené do pořádání konferencí a seminářů nebo metodik, které nejsou určené jen akademické obci.

Viz
http://www.park.cz/C34
http://www.park.cz/jak_je_t...
http://www.park.cz/inovacni...
03. 04. 2008 | 14:38

Vlastimil Veselý napsal(a):

Vidím, že systém Lidovek neumožňuje editovat vlastní komentář. Omlouvám se za překlep, samozřejmě "ignorovaly".
03. 04. 2008 | 14:40

jirizlatuska napsal(a):

prirodovedci: Prezentace z brnenskeho seminare jsou ode dneska na adrese http://vzdelavani.physics.m...
04. 04. 2008 | 23:10

Jaroslav Turánek napsal(a):

Vlastimil Veselý: Výzkum v ČR a činnost mnohých VŠ stojí na "vykořisťováním" postgraduálních studentů, jejich zapřažení do nekonečné výuky a cvičení, tak že na samotnou vědu, stejně jako jejich "profesoři" a "docenti", nemají čas. Vydupat pro PGS studenty nějaký úvazek na přilepšení a uchránit je od neproduktivních aktivit, které by na ně byrokraté rádi naházeli, to vám vedení k dobru nepřipočítá. Motivaci v sobě buď vědec má a nebo nemá, tomu moc nepomůžete. Horší jsou demotivující faktory, a mzda není na prvním místě. Ta je často jen faktorem limitujícím setrvání mladého člověka ve vědě. Reforma asi skončí tak, že vskutku nezbude, než dělat „lepší šampóny“ na resortních ústavech a na do sebe zahleděné akademii z valné části opisovat lepší publikace. Praha a Brno se mohou mydlit o to, kdo si postaví větší ústavy. Rozděl a panuj, to je filosofie vládní reformy vědy.
Jedu zítra do Prahy připravit s normálními lidmi z akademie projekt. To je drobná radost vědeckého života. Přeji vám pěkný zbytek pondělí.
07. 04. 2008 | 15:51

Suzanne Simon napsal(a):

Nikdo z Čechů a Češek se v http://isihighlycited.com/ nevyskytuje. Zrovna jsem to prověřila.
Takže to nějak zkuste řešit. Prostě ten žebříček udělejte. Laťku budete muset nasadit níž. Třeba chcete 500 nejlepších z WoS. Pak srovnejte obory, některé nebudou vůbec, jiné budou mít více zástupců.
A tak se dá pokračovat dále, zařadí se další články, třeba ze Scopus. Pak nějaké další databáze uvnitř státu. Třeba je už někdo dělá, já nevím. Protože je to o osobnostech, ne o ústavech, poskytovatelích a RVV. Ta se v tom jen snaží nějak zorientovat. Zdravím, Perchta
14. 04. 2008 | 15:00

Bisnis Online napsal(a):

I don't know what to say except that I have enjoyed reading. Nice blog. I will keep visiting this blog very often.

Thank You..
04. 06. 2009 | 17:28

replica watches napsal(a):

If you don't konw about omega watches and replica watches, account for you behind juvenility.
If you have not omega watches or replica watches,you account for out. so you may be come to here see.
http://www.omegawatchessale...
01. 07. 2009 | 10:32

cheap tiffany jewelry napsal(a):

To, ze by "prumyslovi magnati" financovali nejak podstatneji vyzkum jinde, nez pripadne v jejich vlastnich podnicich je rozsirena, ale zcela naivni predstava.
Ktery soukromy subjekt by dal na provoz nejakeho vyzkumneho ustavu potrebne stamiliony rocne? O to se proste musi ostarat stat; ten take musi vytvorit optimalni podminky pro co nejsnazsi prevod vysledku vyzkumu do praxe (podpora vzniku spin-off firem, danove stimulace...).
31. 07. 2009 | 15:05

replica tag heuer napsal(a):

Interesting thing!
Good recommended website.
just want to add a comment
30. 03. 2010 | 06:37

Links of London Jewellery napsal(a):

I mean I've left schools and places I didn't even know I was leaving them. I hate that. I don't care if it's a sad good-by or a bad goodby, but when I leave a place I like to know I'm leaving it. If you don't, you feel even worse.
31. 03. 2010 | 13:20

Lenka Tokošová napsal(a):

Fíha užasné však
21. 02. 2011 | 19:34

Přidat komentář

Tento článek byl uzavřen. Už není možné k němu přidávat komentáře ani hlasovat

Blogeři abecedně

A Arnoštová Lenka Teska B Balabán Miloš · Bartoš Ivan · Bartošová Ela · Bečková Kateřina · Bělobrádek Pavel · Benda Jan · Beránek Jan · Berwid-Buquoy Jan · Bielinová Petra · Bína Jiří · Bízková Rut · Bobek Miroslav · Boučková Tereza · Bursík Martin C Cimburek Ludvík Č Černý Jan · Čipera Erik · Čtenářův blog D David Jiří · Dienstbier Jiří · Dolejš Jiří · Drobek Aleš · Duka Dominik · Duong Nguyen Thi Thuy · Dvořáková Vladimíra F Fajt Jiří · Farský Jan · Fendrych Martin · Feri Dominik · Fiala Petr G Gazdík Petr · Gregor Kamil H Hamáček Jan · Hamplová Jana · Hasenkopf Pavel · Havel Petr · Havlík Petr · Heger Leoš · Heller Šimon · Herman Daniel · Hilšer Marek · Hlaváček Petr · Hnízdil Jan · Hokeš Tomáš · Hokovský Radko · Holmerová Iva · Holomek Karel · Honzák Radkin · Horký Petr · Horváth Drahomír Radek · Hořejš Nikola · Hořejší Václav · Hovorka Jiří · Hradilková Jana · Hrstka Filip · Hubinger Václav · Hudeček Tomáš · Hůle Daniel · Hülle Tomáš · Hvížďala Karel CH Chromý Heřman · Chýla Jiří J Janeček Karel · Janyška Petr · Jarolímek Martin · Jourová Věra · Just Jiří · Just Vladimír K Kania Ondřej · Keményová Zuzana · Klan Petr · Klíma Vít · Klimeš David · Kněžourková Tereza · Kolínská Petra · Komárek Michal · Kopecký Pavel · Kostkan Tomáš · Kostlán František · Košák Pavel · Kotišová Miluš · Koudelka Zdeněk · Krafl Martin · Králíková Eva · Krása Václav · Kraus Ivan · Krištof Roman · Křeček Stanislav · Kubita Jan · Kubr Milan · Kučera Vladimír · Kuchař Jaroslav · Kuras Benjamin · Kutílek Petr · Kužílek Oldřich · Kyselý Ondřej L Lalák Adam · Laně Tomáš · Líbal Vladimír · Linhart Zbyněk · Lipold Jan · Lomová Olga · Ludvík Miloslav M Mahdalová Eva · Marksová-Tominová Michaela · Marvanová Hana · Mašát Martin · Metelka Ladislav · Mihovičová Jana · Michálek Libor · Miller Robert · Minařík Petr · Müller Zdeněk · Münich Daniel N Navrátil Vojtěch · Němec Václav · Novák Martin O Oláh Michal · Ondráčková Radka · Outlý Jan P Palik Michal · Paroubek Jiří · Payne Jan · Pecák Radek · Pehe Jiří · Pelda Zdeněk · Penc Stanislav · Petrák Milán · Peychl Ivan · Pikora Vladimír · Pixová Michaela · Poc Pavel · Pohled zblízka · Pokorný Zdeněk · Pražskej blog · Procházka Adam · Prouza Tomáš · Přibyl Stanislav R Rabas Přemysl · Rath David · Redakce Aktuálně.cz  · Ripka Štěpán · Robejšek Petr · Rychlík Jan Ř Řízek Tomáš S Sedláček Tomáš · Sedlák Martin · Seitlová Jitka · Shanaáh Šádí · Schwarzenberg Karel · Skořepa Michal · Skuhrovec Jiří · Sláma Bohumil · Slimáková Margit · Sobotka Bohuslav · Sokačová Linda · Sportbar · Staněk Pavel · Stanoev Martin · Stehlíková Džamila · Stejskal Libor · Stránský Martin Jan · Svoboda Cyril · Svoboda Jiří · Svoboda Pavel · Syková Eva Š Šefrnová Tereza · Šilerová Jana · Šimáček Martin · Šimková Karolína · Škop Michal · Šlechtová Karla · Šmíd Milan · Šoltés Michal · Špok Dalibor · Štádler Petr · Šteffl Ondřej · Štěch Milan · Štern Ivan · Štern Jan · Štrobl Daniel · Šumbera Filip · Švejnar Jan T Tejc Jeroným · Tejkalová N. Alice · Tolasz Radim · Tomášek Pavel · Tomčiak Boris · Tomský Alexander · Tošovský Michal · Tožička Tomáš · Turek Jan · Tvrdoň Jan U Uhl Petr · Urban Jan V Vaculík Jan · Vácha Marek · Vendlová Veronika · Vhrsti · Vileta Petr · Vlach Robert · Vlk Miloslav · Vodrážka Mirek W Wagenknecht Lukáš · Wheeler Adrian · Wichterle Kamil · Wollner Marek Z Zahradil Jan · Zahumenský David · Zaorálek Lubomír · Závodský Ondřej · Zděnek Michal · Zelený Milan · Zlatuška Jiří · Znoj Milan Ž Žák Miroslav · Žák Václav Ostatní Dlouhodobě neaktivní blogy