Záhada medicínského výzkumu se řeší
V minulém blogu jsem srovnal publikační produkci českého medicínského výzkumu s několika evropskými zeměmi podobné velikosti a vznesl jsem zásadní otázku, proč dopadáme tak extrémně špatně. Neznaje správné odpovědi, vyzval jsem čtenáře k diskusi a nabídl potenciální kandidátky správných odpovědí:
a) Jsou výsledky českého medicínského výzkumu publikovány jinde než je ve světě běžné (v mezinárodních časopisech)?
b) Je český medicínský výzkum lepší než naznačuje graf, ale z nějakého důvodu ho nesdílíme se světem?
c) Světová vědecká komunita se o výsledky českého výzkumu z nějakého důvodu nezajímá?
d) Český medicínský výzkum je skutečně popelkou a světové výsledky jsou výjimkou? Co je potom důvodem? Špatné podmínky pro tuto vědeckou práci? Nezájem odborníků dělat tuto práci?
e) Udělal jsem snad někde nějakou nějakou zásadní chybu při výpočtu?
Myslím, že diskuse čtenářů stojí za to. Cítím se ještě povinován několika reakcemi:
prirodovedec II, Boleslav D.Prosim Vas nez zase podlehneme dalsi panice, doporucil bych Vasi pozornosti nektera fakta: 1) Delit vysledky poctem obyvatel podle nema smysl. Nedelil bych ani poctem vedcu, ale spise objemem penez v uvedenych zemich. Protoze vyzkum je bud drahy ci levny.... jedna se tedy podle mne o manipulaci v neprospech CR a samozrejme ve prospech reforem :). Autor by to mel vedet a zohlednit, jiz to zde bylo pripominkovano, kdyz srovnaval podobne ekonomicke obory zemi. Zatim tedy prokazal spise neschopnost se poucit
Odpověď: Že by bylo žádoucí údaje o publikacích podělit objemem prostředků na medicínský výzkum nebo počtem lidí zabývajících se medicínským výzkumem jsem naprosto otevřeně v textu přiznal. Jenomže on je problém taková čísla - srovnatelná pro různé země - sehnat. Alespoň já je nemám. Podělit ta má číslo jako prirodovedec objemem prostředků na celou vědu (ještě k tomu přenásobené nějakým univerzálním PPP) nebo všech vědců v té které zemi je sice snadné, ale potenciálně extrémně nepřesné. A i kdyby byly ty indexy publikační produkce přepočítané prirodovedcem správně, publikační ztráta by se z obrovské změnila pouze ve velkou. Jako fatální problém to tedy nevidím. Stokrát fatálnější chybou je, když někdo na základe RCIO (relativní citační index oboru, viz. můj minulý článek) dojde ke zcela chybnému závěru, že náš medicínský výzkum je světovou špičkou. Teď také prozradím druhou hádanku: RCIO je totiž přesněji řečeno relativní citační index článků z oboru a právě těch článků je z ČR žalostně málo.
Prepočteno na jednoho výzkumnika:
Austria 500%
Czech Republic 100%
Netherlands 900%
Sweden 800%
Prepočteno na GDE:
Austria < 200%
CR 100%
Netherlands cca 900%
Sweden cca 300%
Zlatuska: Proc tedy nespocitate a nesrovnate primo statistiky zalozene v danem obdobi na citacich individualnich clanku a misto toho si hrajete s rozdelovanim podle IF, ktere stejne korektni vysledek nedava? Pracujete s prumery v situaci, kdy mate silne asymetricka statisticka rozdeleni a ocasy tech charakteristik to samy zkresli (viz prirodovedcem citovany Sobel) tak, ze dekonstruovat z nekorektne spocitanych dat odpovedi na polozene otazky muze byt nesnadne nebo nemozne. (Na podzim pro britsky vyzkum tyden co tyden publikoval srovnani zalozene na citacnich datech britsky Times Higher education. U nas se o to z lidi s pristupem k tem datum a odpovednym za analytiku vladni "reformy" nepokusil nikdo.) Napada mne otazka, zda jsou vubec ekonomove zvykli pracovat se statistickymi rozdelenimi?
Odpověď:
a) Samozřejmě bych rád udělal a na vlastní oči viděl také srovnání na základě citační analýzy. To bych to ale nesměl dělat jako koníčka ve volném čase. Takové analýzy by měla dělat profesionální (placená a nezávislá instituce), ale taková zatím u nás bohužel stále není. Ale na základě zkušeností z předchozích analýz jsem přesvědčen o tom, že srovnáním citačního ohlasu bychom byli svědky ještě většího propadáku. Proč? Prostě proto, že články v časopisech s nízkým Impact Factorem skutečně čte a cituje výrazně méně vědců. Není šance, aby to málo českých medicínských článků vycházející ještě k tomu v časopisech s velice nízkým IF nějakým zázrakem dosahovalo abnormálně vysokého počtu citací.
b) IF je samozřejmě průměr měřený na poměrně krátkém období s potenciálními nepřesnostmi. Nějakým rigoróznějším a náročným zpřesňováním (kdo to má po večerech počítat, že ano) by se ale to zásadní - obrovská ztráta na peleton základního medicínského výzkumu ve světě - nevymazala. Ta ztráta ČR totiž s tvarem a asymetrií distribučních funkcí citací nemá vůbec nic společného. A kromě toho se soustřeďuji pouze na jeden obor živé přírody, kde je podobná citační praxe. Kdybych takto srovnával například medicínu s fyzikou, bylo by to samozřejmě hodně špatně.
c) Mohu všechny ujistit, že i my ekonomové (možná ne všichni) jsme zvyklí pracovat se statistickými rozděleními. Ale jak jsem uvedl v bodě b), rádi si to zjednodušíme, když za to nejsme placeni a předem stejně víme, že to na podstatě zjištění nic nezmění.
Zlatuska: Proc se aspon na fixnim vzorku produkce nepracujete s korektne zpravovanymi udaji namisto odvozenin z zharakteristik, ktere se nechovaji pouzitelne? To mi prijde jako vetsi zahada, nez ty, ktere vznasite v blogu.
Odpověď: Zde vám nějak nerozumím. Já nepracuji se vzorkem, ale s celou populací (publikovaných článků v roce 2006). Musím prostě pracovat s nějakou odvozenou charakteristikou jako je IF časopisu. Citace těch článků nemá smysl, protože řada citací se urodí teprve v následujících letech. A sám správně připomináte, že tvary ocásků citačních distribucí jsou různé, takže je nelze nijak přesně individuálně předvídat. Můžeme si samozřejmě na ty další citace ještě pár let počkat. Ale takové hodnocení českého medicínského výzkumu roku 2006 až v roce 2012 nebo později už bude spíše práce pro historiky než pro reformátory.
a) Jsou výsledky českého medicínského výzkumu publikovány jinde než je ve světě běžné (v mezinárodních časopisech)?
b) Je český medicínský výzkum lepší než naznačuje graf, ale z nějakého důvodu ho nesdílíme se světem?
c) Světová vědecká komunita se o výsledky českého výzkumu z nějakého důvodu nezajímá?
d) Český medicínský výzkum je skutečně popelkou a světové výsledky jsou výjimkou? Co je potom důvodem? Špatné podmínky pro tuto vědeckou práci? Nezájem odborníků dělat tuto práci?
e) Udělal jsem snad někde nějakou nějakou zásadní chybu při výpočtu?
Myslím, že diskuse čtenářů stojí za to. Cítím se ještě povinován několika reakcemi:
prirodovedec II, Boleslav D.Prosim Vas nez zase podlehneme dalsi panice, doporucil bych Vasi pozornosti nektera fakta: 1) Delit vysledky poctem obyvatel podle nema smysl. Nedelil bych ani poctem vedcu, ale spise objemem penez v uvedenych zemich. Protoze vyzkum je bud drahy ci levny.... jedna se tedy podle mne o manipulaci v neprospech CR a samozrejme ve prospech reforem :). Autor by to mel vedet a zohlednit, jiz to zde bylo pripominkovano, kdyz srovnaval podobne ekonomicke obory zemi. Zatim tedy prokazal spise neschopnost se poucit
Odpověď: Že by bylo žádoucí údaje o publikacích podělit objemem prostředků na medicínský výzkum nebo počtem lidí zabývajících se medicínským výzkumem jsem naprosto otevřeně v textu přiznal. Jenomže on je problém taková čísla - srovnatelná pro různé země - sehnat. Alespoň já je nemám. Podělit ta má číslo jako prirodovedec objemem prostředků na celou vědu (ještě k tomu přenásobené nějakým univerzálním PPP) nebo všech vědců v té které zemi je sice snadné, ale potenciálně extrémně nepřesné. A i kdyby byly ty indexy publikační produkce přepočítané prirodovedcem správně, publikační ztráta by se z obrovské změnila pouze ve velkou. Jako fatální problém to tedy nevidím. Stokrát fatálnější chybou je, když někdo na základe RCIO (relativní citační index oboru, viz. můj minulý článek) dojde ke zcela chybnému závěru, že náš medicínský výzkum je světovou špičkou. Teď také prozradím druhou hádanku: RCIO je totiž přesněji řečeno relativní citační index článků z oboru a právě těch článků je z ČR žalostně málo.
Prepočteno na jednoho výzkumnika:
Austria 500%
Czech Republic 100%
Netherlands 900%
Sweden 800%
Prepočteno na GDE:
Austria < 200%
CR 100%
Netherlands cca 900%
Sweden cca 300%
Zlatuska: Proc tedy nespocitate a nesrovnate primo statistiky zalozene v danem obdobi na citacich individualnich clanku a misto toho si hrajete s rozdelovanim podle IF, ktere stejne korektni vysledek nedava? Pracujete s prumery v situaci, kdy mate silne asymetricka statisticka rozdeleni a ocasy tech charakteristik to samy zkresli (viz prirodovedcem citovany Sobel) tak, ze dekonstruovat z nekorektne spocitanych dat odpovedi na polozene otazky muze byt nesnadne nebo nemozne. (Na podzim pro britsky vyzkum tyden co tyden publikoval srovnani zalozene na citacnich datech britsky Times Higher education. U nas se o to z lidi s pristupem k tem datum a odpovednym za analytiku vladni "reformy" nepokusil nikdo.) Napada mne otazka, zda jsou vubec ekonomove zvykli pracovat se statistickymi rozdelenimi?
Odpověď:
a) Samozřejmě bych rád udělal a na vlastní oči viděl také srovnání na základě citační analýzy. To bych to ale nesměl dělat jako koníčka ve volném čase. Takové analýzy by měla dělat profesionální (placená a nezávislá instituce), ale taková zatím u nás bohužel stále není. Ale na základě zkušeností z předchozích analýz jsem přesvědčen o tom, že srovnáním citačního ohlasu bychom byli svědky ještě většího propadáku. Proč? Prostě proto, že články v časopisech s nízkým Impact Factorem skutečně čte a cituje výrazně méně vědců. Není šance, aby to málo českých medicínských článků vycházející ještě k tomu v časopisech s velice nízkým IF nějakým zázrakem dosahovalo abnormálně vysokého počtu citací.
b) IF je samozřejmě průměr měřený na poměrně krátkém období s potenciálními nepřesnostmi. Nějakým rigoróznějším a náročným zpřesňováním (kdo to má po večerech počítat, že ano) by se ale to zásadní - obrovská ztráta na peleton základního medicínského výzkumu ve světě - nevymazala. Ta ztráta ČR totiž s tvarem a asymetrií distribučních funkcí citací nemá vůbec nic společného. A kromě toho se soustřeďuji pouze na jeden obor živé přírody, kde je podobná citační praxe. Kdybych takto srovnával například medicínu s fyzikou, bylo by to samozřejmě hodně špatně.
c) Mohu všechny ujistit, že i my ekonomové (možná ne všichni) jsme zvyklí pracovat se statistickými rozděleními. Ale jak jsem uvedl v bodě b), rádi si to zjednodušíme, když za to nejsme placeni a předem stejně víme, že to na podstatě zjištění nic nezmění.
Zlatuska: Proc se aspon na fixnim vzorku produkce nepracujete s korektne zpravovanymi udaji namisto odvozenin z zharakteristik, ktere se nechovaji pouzitelne? To mi prijde jako vetsi zahada, nez ty, ktere vznasite v blogu.
Odpověď: Zde vám nějak nerozumím. Já nepracuji se vzorkem, ale s celou populací (publikovaných článků v roce 2006). Musím prostě pracovat s nějakou odvozenou charakteristikou jako je IF časopisu. Citace těch článků nemá smysl, protože řada citací se urodí teprve v následujících letech. A sám správně připomináte, že tvary ocásků citačních distribucí jsou různé, takže je nelze nijak přesně individuálně předvídat. Můžeme si samozřejmě na ty další citace ještě pár let počkat. Ale takové hodnocení českého medicínského výzkumu roku 2006 až v roce 2012 nebo později už bude spíše práce pro historiky než pro reformátory.