Vady hodnocení vědy by odhalili i patnáctiletí

09. 11. 2011 | 06:06
Přečteno 5701 krát
Rozsáhlý a trefný článek „Velký vědecký výbuch“ Štěpána Jurajdy popsal v Orientaci v Lidových novinách 29. 10. zatím poslední dějství české ostudy hodnocení výkonu ve vědě a z něj vycházejícího financování. Desítky milionů se utratily za zahraniční posouzení koncepčních vad systému, na které v neformálních jednáních i ve formálních připomínkových řízeních organizovaných Radou pro výzkum, vývoj a inovace mnohokrát upozorňovala řada odborníků. O odpovědnosti politiků nebo ministerských úředníků za zpackané zákony se hovoří často, o odpovědnosti členů vládní Rady za způsobené škody s poukazem na údajnou „čestnost“ jejich funkce nikoli.

Mlčení odpovědných je tam, kde se jedná o účelové nasměrování toků peněz – a toto bylo hlavním cílem reformy, která chybné hodnocení zahrnula do zákona o financování vědy – ceněnou vlastností. V tomto ohledu lze s Jurajdovým článkem polemizovat, když v posledním odstavci vidí příslib změny v nedávném odvolání vládní Rady. Ta byla loni zčásti jmenovaná na základě transparentního a veřejnosti přístupného řízení zahrnujícího i veřejná slyšení navrhovaných kandidátů. Netýkalo se to ovšem kandidátů všech, účasti na diskusích pořádaných v několika termínech se vyhnul mimo jiné nový premiérův šéfporadce pro vědu Petr Fiala, který využil toho, že bude v problematickém systému dosazování zástupců institucí do Rady opětovně jmenován jako předseda České konference rektorů (která sama jeho nominaci premiérovi nepředložila). Obdobnou cestu zvolila i ministryně školství Miroslava Kopicová, přestože bylo jasné, že její ministerský mandát záhy po jmenování skončí. Z členů v roce 2010 do Rady opětovně jmenovaných měl ostatně odvahu k veřejné odpovědnosti za svou činnost a k obhajobě svých názorů pouze Zbyněk Frolík.

Podezření z přetrvávající manipulace motivované vlivem na tok miliard ze státního rozpočtu na vědu vyvolávají například rozpory ve vyjadřování o obsazování nové Rady: Když dostal 20. 10. Petr Fiala na předsednictvu Rady vysokých škol – orgánu ze zákona reprezentujícího vysoké školy – dotaz na parametry sestavování nové Rady, odpověděl, že to nijak nespadá do jeho kompetence vrchního ředitele na Úřadu vlády a jde o pravomoc jen premiéra, do které on nemůže mluvit [viz záznam z jednání P RVŠ, str. 4 a citace premiérových slov na Radě pro výzkum a vývoj uvedené zde]. O dva dny později najdeme v Lidových novinách v článku „Čerstvý vítr pro českou vědu“ (LN 22.10.) vyjádření premiéra Petra Nečase s přesně opačným obsahem. Symptomatické je i nasazování psí hlavy členům Rady z Akademie věd, která kromě kritiky chybného způsobu hodnocení vědy také překročila obvyklé „resortní“ uvažování a do dnes již odvolané Rady jako jediná premiérovi Janu Fischerovi navrhla také kandidáty z vysokých škol nebo špičkového aplikovaného výzkumu (a jen Rada vysokých škol navrhovala renomovaného zahraničního člena, prof. Rudolfa Haňku z Cambridge). Podezření, že v odvolané Radě překáželi nejvíce ti, kteří nebyli mezi zahradníky oněmi příslovečnými kozly, premiér zatím ničím nevyvrátil [viz též zkušenost popisovaná zde].

Jurajdův článek může přes polopatistické „propadák“ v úvodu budit v nezasvěcených čtenářích dojem vysoké odbornosti potřebné k nahlédnutí hloubky chyb v českém systému hodnocení. Jednoduchou diagnózu však lze vyčíst z článku „Gramotnost: zkuste si sami“ (Lidové noviny 1.11., viz též úloha 4 na str. 28 příručky Gramotnosti ve vzdělávání): Je to nedostatek matematického uvažování, které by měli zvládnout i patnáctiletí žáci. V druhé z tam uvedených úloh se srovnávají výsledky dvou skupin na základě zprůměrování, nebo zvážení podílu nejlepších, což je esence redakční upoutávky k Jurajdově článku: „Čeští vědci stojí před dilematem: mají se pouštět do nesmírně náročného výzkumu, když zavedený systém u nás finančně zvýhodňuje spíš produkci podřadných a bezcenných článků a knih?“ Preference množství podprůměrných výsledků nad kvalitou menšího počtu z nich je jedna ze zásadních vad českého hodnocení a financování vědy. I patnáctiletí by se jí měli umět vyvarovat.

Miliardy, o které se ve financování vědy ze státního rozpočtu jedná, nejsou zanedbatelné ani ve srovnání se sumami ve vleklých aférách s podezřeními z korupce. Účast státních úředníků na nich vzbuzuje často pocit dojemné prostomyslnosti tam, kde státu vzniká evidentní škoda. Historie velkého vědeckého výbuchu v českém financování vědy vykazuje při bližším ohledání podobné znaky – včetně toho, že ostrá kritika musí přijít ze zahraničí, i když základní problémy byly v Česku dlouho známy a jejich kritici na ně opakovaně poukazovali. Kroky k nápravě zatím chybí. Jako u hospodářských afér se lze ptát, zda neplatí ono politické „po vyřešení problému u nás není poptávka“.

(Vyšlo v Lidových novinách 4. 11. 2011.)

Komentáře

Aktuálně.cz má zájem poskytovat prostor jen pro korektní a slušně vedenou debatu. Tím, že zde publikujete svůj příspěvek, se zároveň zavazujete dodržovat Kodex diskutujících. Pokud Váš text obsahuje hrubé urážky, vulgarismy, spamy, hanlivá komolení jmen, vzbuzuje podezření z porušení zákona, je celý napsán velkými písmeny či jinak odporuje zdejším pravidlům, vystavujete se riziku, že jej editor smaže.
Přejeme Vám zajímavou a inspirativní výměnu názorů.
Libor Stejskal, editor blogů (blogy@aktualne.cz)

Dalibor Štys napsal(a):

Pro zajímavost předkládám mission statement Kalifornského technologického institutu (Caltech), nejlepší světové univerzity podle hodnocení Times Higher Education. Tato univerzita je v dlouhodobém hodnocení v první desitce všech rozumných, tedy multivariantních, žebříčků:

" Cílem Kalifornského technologického institutu je rozšiřovat lidské poznání a prospívat společnosti prostřednictvím výzkumu propojeného se vzděláváním. Zkoumáme nejnáročnější a nejzákladnější problémy věd a technologií v jedinečné kolegiální a interdisciplinární atmosféře a zároveň vzděláváme vynikající studenty aby se stali kreativními členy společnosti. "

Což takhle začít se při hodnocení řídit těmito cíli (na výzkumných univerzitách) a vzdělávacími cíly bývalých průmyslovek (na nevýzkumných vysokých školách).

Pro začátek zopakuji svou mantru: nevymýšlejme vymyšlené a řiďme se ve světě osvědčenými (mnohorozměnrnými) systémy hodnocení, alespoň pokud jde o kritéria, podle nichž se hodnotí. Ostatně, hodnocení kvality při financování vysokých škol (VKM, koeficient K) už touto cestou vykročilo.

Bude to ovšem chtít neoddělovat hodnocení vědy od hodnocení vysokoškolského vzdělávání. Při hlubším zamyšlení musí sami vědci dojit k tomu, že udělat to před 20 let (jako v Estonsku, viz poznámka v hodnocení Technopolis), bylo by jim i dnes lehčeji na duši.
09. 11. 2011 | 06:47

blekota napsal(a):

Pane profesore Zlatuško, pláčete hezky, ale na nesprávném hrobě. Mlčky totiž předpokládáte, že o věci rozhoduje Rada vlády, nebo snad ministerstvo?

Bohužel, nic takového. Rozhodují politici, či spíše šedivé eminence, které někde v pozadí tahají za špagátky.

Příklad uvidíte zanedlouho. Vý sám a s vámi desítky profesorů, jejichž čas je drahý, jste od začátku roku připravovali nový vysokoškolský zákon. Od začátku roku vám bylo jasné, že věcný záměr, který vám původně předhodili, je tragický a znamenal by definitivní smrt českého vysokého školství. Proto jste vy i další profesoři věnovali stovky hodin na to, abyste ho vylepšili a aspoň trochu dostali do podoby, která bude použitelná.

Dnes, po 3/4 roce hektické práce a po proinvestování stovek tisíc, je hotovo. Ministr vzal vámi vypracovaný návrh na jednání K9. A tam někdo, kdo o věci nemá sebemenší tušení, rozhodl: vaše nová verze je špatná, protože odporuje představám bossů. Zpátky na stromy! A projednávání se znovu vrací na začátek, k původní verzi z letošního února.... Projednávání skončilo, zapomeňte!
09. 11. 2011 | 07:35

reppop napsal(a):

Pro Prof. Zlatuška:
Omlouvám se, že sem kopíruji svůj text z konce diskuse minulého blogu, ale domnívám se, že to s tímto tématem souvisí ještě více:

Díky za optimisticky pesimistický závěr Vaší minulé odpovědi.
Já jsem přesvědčen, že za neúspěchy lidské společnosti je zodpovědná především ta blbost – stupidita. Stupiditu ale nepovažuji za pouhý nedostatek inteligence. Podle mne je to složitější. Existuje víc typů inteligence, jejich suma je důležitá, ale za důležité považuji i to nakolik jsou ty typy inteligence u jedince v rovnováze. A řekl bych, že čím vyšší je suma všech typů inteligence jedince a současně čím více jsou ty jednotlivé typy inteligence u něj v rovnováze, tím větší je deficit stupidity (převrácená hodnota stupidity tedy není jen suma inteligencí). Asi byste to snadno dovedl jako matematik vyjádřit vzorcem.
Pokud budeme lidskou společnost chápat jako komplexní organismus, pak by analogicky mohlo platit, že nejde jen o to jaká je suma výkonností jednotlivých vědních oborů, ale i to nakolik se tyto obory vyvíjejí v rovnováze (jeden neexpanduje na úkor jiného, např. ekonomie na úkor sociologie). To pak dává deficit stupidity dané lidské komunity. Čím je deficit stupidity větší, tím efektivnější ta společnost je, domnívám se. Neefektivita (= zlo) vzniká především ze stupidity a stupiditu můžeme také charakterizovat jako „protivení se přírodním zákonům“. Čím více se společnost protiví přírodním zákonům, tím neefektivněji funguje a tím větší suma zla ve společnosti zřejmě existuje. Krásným příkladem je snaha zavést komunismus jako formu uspořádání vztahů v lidské společnosti. Je to utopie, vždy to narazí na skutečnost, že příslušníci Homo sapiens se v evoluci nevyvinuli jako altruističtí mravenci, ale jako konkurující si primáti. Snaha zavést komunismus u Homo sapiens se protiví přírodním zákonům, proto je stupidní a vždy se to nakonec zvrhne v něco jiného (zpravidla v diktaturu). Podobně neoliberalismus: ten se zase protiví přírodním zákonům tím, že věří, že jedinec může realizovat neomezeně své ekonomické zájmy, tj. má ekonomickou svobodu aniž by se musel starat o svou odpovědnost. Tu má za něj údajně trh. To je sice možné, ale potom to funguje jako v populaci hlodavců: dokud je dost potravy, hlodavci se množí, tím ale potrava dochází a vzniká velká nerovnováha mezi zdroji potravy a počtem jedinců. Návrat do rovnováhy (který neřídí ti hlodavci, ale neviditelná ruka přírody) je za cenu velkého zla – většina jedinců umírá pro nedostatek potravy. Hlodavci jsou stupidní, nedokáží svou populaci regulovat tak aby se vyvíjela rovnoměrně. Neoliberálové se, zdá se, chovají podobně jako ti hloupí hlodavci. Nemohou se pak divit, že čas od času vznikne velká nerovnováha v systému (např. když 1% nejbohatších vlastní až 40 % bohatství společnosti jako v USA), která pak systém vede ke kolapsu. Takže i neoliberalismus mi připadá stupidní a jeho aplikací vzniká ve společnosti zlo (neefektivita, zadlužování atd.).
09. 11. 2011 | 09:15

reppop napsal(a):

Pro Prof. Zlatuška - pokračování:
Vrátíme-li se ke stupiditě jedince. František Koukolík ve své knize Vzpoura deprivantů uvádí čtyři základní typy jednání lidí: (a) nešťastník: svou činností sebe poškozuje, ale druhým prospívá, (b) bandita: svou činností sobě prospívá, ale druhé poškozuje, (c) inteligent: svou činností prospívá sobě i druhým, (d) stupidní: svou činností poškozuje druhé i sebe. Poslední kategorie lidí je prý zastoupená ve všech profesích zhruba stejně, od horníků až po akademiky. Tito lidé pak plodí největší neefektivitu společnosti, největší zlo. Ale jsem přesvědčen, že proti stupiditě (a tedy zlu) lze částečně bojovat, a to vzděláváním lidí a učením je myšlení v souvislostech a kritickému myšlení. Už Sokrates prý napsal: Existuje jen jedno dobro, a to je vědění. Existuje jen jedno zlo, a to je nevědomost. Ale má to jednu podmínku, musí jít o vzdělávání v tom smyslu jak ho chápe Liessmann (ve smyslu německého termínu Bildung), nikoliv jak ho chápe neoliberální ideologie (ve smyslu „výcvik k určité konkrétní činnosti“). Právě univerzity by měly, domnívám se, přinášet toto vzdělání (vychází to už z pojmu „univerzita“). Ale takovéto vzdělání skutečně není zboží a jeho distribuce se nemůže řídit tržním mechanismem.

Nedávno jsem se setkal s výrokem jistého děkana jisté přírodovědecké fakulty: Musím instituci vést jako prosperující firmu. Nemohu tedy podporovat zelenou biologii, která málo vynáší, ale musí být nahrazena výnosnou biologií bílou. Jiný děkan jiné přírodovědecké fakulty prý zase prohlásil: budou-li na fakultě existovat lidé, kteří chodí na louky studovat rostliny, s fakultou to dopadne špatně (to je jinými slovy totéž co u toho prvního) . Velmi podobné názory prý má i děkan další přírodovědecké fakulty nejznámější naší univerzity. Zelená biologie studuje živou hmotu na úrovni organismů a jejich společenstev, bílá na úrovni jejich buněk a molekul. Takže pokud říkají, že zelenou biologii lze redukovat na bílou, je to podobné jako by říkali, že fyziku lze redukovat na matematiku, chemii na fyziku, atd. Výsledkem je nerovnoměrný vývoj základních vědních oborů (a podoborů), který, podle mého, vyplodí neefektivitu systému lidské společnosti, vycházející z tohoto stupidního (neoliberálního) pohledu na věc. Obávám se, že tito děkanové jsou v zajetí stupidních neoliberálních memů a že se nepohneme z místa, dokud tuto stupiditu neodstraníme. Já věřím, že jako mohou být zhoubné geny v organismu (vedoucí k rozvoji rakoviny), tak se ve společnosti mohou rozšířit zhoubné memy (komunistické, neoliberální), tj. takové, které nutí společnost chovat se stupidně (= protivit se přírodním zákonům).
Když byl J. Stiglitz nedávno v Praze, řekl že abychom se zbavili zadlužení, musíme investovat do vzdělání, protože to je investice návratná násobně. Obávám se, že na jednu věc zapomněl a to je připomenout, že ještě před tím investováním se musíme v organizaci vzdělávání zbavit zhoubných (stupidních) neoliberálních memů (stejně jako v ekonomii). Pokud to neuděláme, investice bude ztracena, nic nepřinese a náš společenský dluh ještě více vzroste. Nemá cenu investovat do systému, který jedná stupidně, tj. neefektivně, o tom jsem přesvědčen. Ale to musíme systém změnit radikálně, ne jen přenastavit ty parametry. Je třeba změnit celý vzorec, domnívám se. A zejména se to týká univerzit, které musí poskytovat především Bildung.
Na závěr bych si dovolil jednu otázku: nevíte jestli je Petr Fiala jako poradce premiéra nadějí, že k takové zásadnější změně dojde?

Hezký den (omlouvám se za dlouhý příspěvek, ale krátit to nešlo)
09. 11. 2011 | 09:16

jogín napsal(a):

Kafemlejnek má jednu výhodu- pro srovnání v úzkém oboru funguje dobře, hlavně pokud nejsou výsledky zapleveleny "měkkými" body za sborníky, abstrakty z konferencí nebo průmyslové vzory. V mezioborovém srovnání jsou body kafemlejnku deformovány jak počtem pracovniků v daném oboru, tak odlišnými publikačními zvyklostmi. Třeba obrovský počet publikací najdeme u lékařů, jenže při nahlédnutí do seznamu prací zjistíme, že v něm není jediný fullpaper, jen referáty z kongresů. Zásadní chybou "reformy" je neuvěřitelné přesměrování peněz ze základního výzkumu do aplikací. Byl to nedávný pokus o likvidaci Akademie a teď přišla řada na univerzity, kde rušení výzkumných center a výzkumných záměrů vede k rozsáhlému propouštění a likvidaci celých týmů s mezinárodně uznávanými výsledky.
09. 11. 2011 | 09:34

Dalibor Štys napsal(a):

pgjed: Proto jsme zhora uvedl ten Caltechovský Mission statement.

Oni tam také nepracují samí andílci, ale dobře vědí, že když je někdo napadne, že neplní mission statement, začnou platit daně. Tak jsou s ním každý den konfrontováni. A ten mission statement, když ho dobře čtete, obsahuje také multivariantní hodnocení činnosti univerzity.

jogín:

O přesmerování peněz ze základního výzkumu do aplikací nejsem přesvědčen. Naopak, poslední vývoj kafemlejnku to znemožnil. Pokud něco, tak bych řekl, že instucionální peníze jsou přesměrovány do skupin, které publikují v českých impaktovaných časopisech bez zahraničních spoluautorů. (V určitém směru podobný charakter mají lékařské zprávy z kongresů, souhlas.)

Ostatně - viz moje odpověď pod předchozím blogem. Podle škol, které významně centrálně přerozdělují peníze na výzkum, nelze soudit. A UK k nim patří. Součástem JU prostředky na vědu trvale narůstají, což je také motivuje nepřijímat nebo rychle vyhazovat studenty, kteří k vědecké produkci nepřispívají.

Tím jsem nijak neřekl, že si myslím, že kafemlejnek je něco dobrého. Měl by být 30-40% hodnocení. Dalších 30-40% by mělo být hodnocení peer review a zbytek objektivní hodnocení výuky (studenti/profesoři, doktorandi/bakaláři) a internacionalita.
09. 11. 2011 | 09:52

jogín napsal(a):

Další problém je podnikatelský přístup k financování vědy. Jde vlastně o poměr mezi institucionálním a grantovým financováním, kde krátkodobé peníze z grantů vedou k nestabilitě výzkumných týmů. Tlak na úspěch znamená, že jednoletá díra v získání grantových peněz způsobí zánik uspěšné skupiny. A v současnosti je získání grantu naprostá loterie, vzláště pokud nemáte za sebou vlivné "trotly". Za této situace přežívají velké týmy a zakládání nových směrů výzkumu je velmi ztíženo- pokud nemáte publikaci z tkáňové kultury, grant postavený na jejím užití nedostanete, i když je to standart, o kterém je v jinak cílených vašich publikacích zmínka. Podnikatelská lobby, která přes politiky určuje charakter rozdělení financí určených na vědu totiž uvažuje v rozměru maximálně tří let a potřeba stabilních týmů je mimo její obzor.
09. 11. 2011 | 10:08

jogín napsal(a):

Dalibor Štys: Pokud nejste přesvědčen o přesunu peněz ze základního výzkumu do aplikací, jak vysvětlite financování TAČRu a několika miliardový nárůst na výzkum v rozpočtech ministerstev, hlavně MPO? A současný úbytek z výzkumných center a výzkumných záměrů? Nejsou vaše názory jen obhajoba RVV, kde jste byl členem?
09. 11. 2011 | 10:18

Dalibor Štys napsal(a):

V RVV jsme teda členem nebyl. Jsem členem jednoho panelu TAČRu a to až od loňského roku.

Naopak, dlouhá léta jsme záměrně v žádné komisi nebyl, abych si (sám pro sebe) udržel nezávislost. Taky, kdo by mne s mou hubou někde chtěl? Já jsem totiž to, co říkám teď, říkal u v roce 1990. A teď to pravil i Technopolis.

Výzkumné záměry se přesunuly do peněz RVO. A ty nám narůstají byť naše publikační politika i politika spolupráce s firmami se nijak nezměnila. Prostě děláme co umíme nejlépe. A co nás nejvíc těší je, když nám to odkývá někdo, kdo dělá třeba statistickou fyziku. Nebo vývoj mikroskopů. Nebo multivariantní analýzu. Nebo je to jen prostě někomu k užitku. Atp.

To,že přední skupiny na MFF se obávají, že k nim peníze RVO nedotečou, je jenom zpráva o tom, že k nim nedotečou.

Výzkumná centra - v GAČRu nezasedám, ale peníze z výzkumných center pro skupiny z mého okolí přitekly prostřednictvím velkých grantů a nového centra excelence. Ostatně, ty týmy dostaly při hodnocení AV známky 1; 1,5; 1,5, takže nevím, jak konzistentněji by mělo hodnocení dopadnout?

To je asi tak všechno. Zůstávám s pozdravem.
09. 11. 2011 | 10:35

Tom_S napsal(a):

Už dva roky posloucháme a čteme kritiku současné metodiky hodnocení, při slově kafemlejnek je součástí bontonu si odplivnout, ale pořád ne a ne se objevit nějaký alternativní mechanizmus rozdělování institucionálních financí...

Co v minulosti? Na VŠ byly výzkumné záměry a o způsobu jejich udělování v roce 2004 netřeba se rozepisovat - děs a běs.

Akademie věd se letos "prsí" svým peer review hodnocením. Ale jak vypadalo a stále ještě vypadá? Na některých ústavech se hodnotili skupiny o třech lidech a pár nešťastníků dostalo trojku nebo čtyřku... Jinde (třeba na Fyziologickém ústavu) se hodnotlili konglomeráty skupin o desítkách lidí a všich ni dostali dvojku. Že i tam jsou neproduktivní lidé prakticky bez publikací ví každý.
A výsledek - vsadím boty, že bude "všichni jsme dobří, někde bysme se ale mohli ještě zlepšit, peníze rozdělíme stejně jako dřív a potřebujeme jich ještě víc"...

Ale jak rozdělit institucionální podporu mezi dva hlavní "poskytovatele" - AV a MŠMT? To je oč tu běží... A Jurajda mlčí... Zlatuška mlčí... Jediné co umí, je to plivání na kafemlejnek, to už opravdu dotáhli téměř k dokonalosti...

.
09. 11. 2011 | 10:58

Dalibor Štys napsal(a):

Tom_S

Díky :-)
09. 11. 2011 | 11:01

jogín napsal(a):

Dalibor Štys: Peníze z výzkumných záměrů přetekly zčásti do MVO, čili od pracovníků fakulty ke studentům. Tady KU prodělává na spolupráci s Akademií, kde má značná část studentů diplomové či doktorantské práce. Do nových center jde jen 1/5 původní částky. Na změny v rozpočtu na vědu a výzkum, které jsou pro financování základního výzkumu zásadní, jste nereagoval. Takže trvám na původním závěru, že jde o masivní přesun financování do aplikovaného výzkumu. A omlouvám se za podezření, že vaše tvrzení jsou účelová.
09. 11. 2011 | 11:24

Dalibor Štys napsal(a):

jogín:

Myslím, že v detailu by se ukázalo, že ty přesuny jsou mnohem složitější.

TAČR by mel být zaměřen na ty "nejzákladnější problémy technologií" ze statementu CALTECHu. Ale takový projekt tam skoro žádný nebyl podán. To jsme konatatovali i na panelu, proč nemáme skoro žádný návrh, který by de-facto nesuploval venture kapitál nebo i nepatřil do vlastního výzkumu firmy?

Ale on je docela problém nejen, že nejsou domácí technologické firmy, ale i že se potenciální žadatelé bojí žádat. Z hlediska frimy dotace neskutečně a nesmyslně administrativně zatěžují. Byl tam i, financovaný, projekt, kde žadatel otevřené napsal, že se vzdává bodové bonifikace za spolupráci s vysokou školou, protože s ní má velmi špatné zkušenosti. Když tak, že si zadá kontrolovatelnou zakázku. Takové stížnosti jsem slyšel mnohokrát od našich průmyslových partnerů.

To je ovšem zcela zásadní problém, co asi ty školy studenty učí když nejsou schopny splnit úkoly k nimž se dobrovolně zavázaly? Většina absolventů jde přece do praxe a ne do Akademie věd.

Samozřejmě, že každý konkrétní případ je jiný a zvláště v tomto se zobecňovat vůbec nedá.
09. 11. 2011 | 11:41

jirizlatuska napsal(a):

Tom_S: Proc bych nemlcel? Kafemlejnek neni opravitelny zmenou parametru, k tomu jsem v minulosti rekl dost a ni ted na tom nemam co menit. Neshodnu se ani s joginem stran toho, ze by fungoval uvnitr oboru, mezioborova normalizace neni jediny problem a jejim zaqvedenim se ten system nespravi. Peer review lze ladit tak, aby se na ruznych pracovistich posuzovalo zhruba totez, podivejte se treba na to, co obsahuje posuzovani, do ktereho v nekterych, zdaleka ne vsech pripadech vchazi citacni data (to neni to, co pouziva kafemlejne) jako vstup, ve velke Britanii: http://www.hefce.ac.uk/research/ref/pubs/2011/03%5F11/

Rozdeleni byla a je otazka pro politiky. ted se to schovalo do ucelove udelanych kriterii, ktere maji neco podle zadani vypocitat. O objektivitu se zde nejednalo a osobne neverim, ze o ni zadavatelum a tem, co to pro ne delali, slo. Otazka toho, ze jsou v systemu instituce ruzne urovne, mi pripada trivialni. kafemlejnek tohle nemeri - a i kdyby meril, abytek systemu neni postaven tak, aby z toho podnecoval dusledky, ktere by nevedly k vyhazovani penez.

Na rozdelovani vyzkumnych zameru byl vaznou chybou nedostatek transparentnosti a prekontrolovatelnosti rozhodovani, coz by ale principalne zlepsitelne bylo. Na ciste kvantitativnim systemu postavenem na jednom skalaru se opravit neda nic, problem ucelove maximalizace toho jednoho skalaru bez ohledu na obsah nebo relevanci, tam vzdycky zustane, ditto o tom, ze neni mozne hodnoceni postavit na tom, ze nekdo ma projit cca sto tisic evidovanych vysledku. Jen se ale opakuji, v predchozich blozich i diskusich k nim jsem toho na toto tem mel dost. V tomto blogu nepridavam k plivani na kafemlejnek, ten uz mam za poplivany dost a nevidim na nem zadnou ani dilci vyhodu.

Navod na alternativni mechanismus fakticky obsahuji i zpravy Technopolisu. Rozumim tomu, ze jim neni popravano sluchu s tim, ze nejsou dokonale a misto toho se modifikuje system, ktery nejen neni dokonaly, ale je fundamentalne spatny tak, ze se neda mluvit ani jeho chybach, protoze z podstaty veci nejsou odstranitelne. Pripomina mi to doby, kdy se budoval komunismus a leckdo byl ochotny tvrsit, ze cdilci chyby typu nedostatku toaletniho papiru vyresi hned pristi petioletka, protoze se naplanuje vyroba nekolika rulicek navic. Par lidi mohlo mit skutecne dojem, ze si pak svou zadek utrit mohli - tenhle optimismus mi ale prijde zhruba stejny, jako adjustace kafemlejnku na oborove kvoty.
09. 11. 2011 | 11:51

TomášL napsal(a):

http://www.osel.cz/index.php?clanek=5971
09. 11. 2011 | 12:53

Dalibor Štys napsal(a):

jirizlatuska Ad: O objektivitu se zde nejednalo a osobne neverim, ze o ni zadavatelum a tem, co to pro ne delali, slo.

To já jim zas věřím. A věřím i jeho současným upravovatelům. Nemám žádnou zprávu že by za kafemlejnekm bylo něco jiného než "depersonalizace hodnocení" jak to popsal Technopolis.

Totiž i největší verbální odpůrci kafemlejnku se po 15 minutách diskuse neudrží a začnou mlít o tom, kdo má lepší článek v lepším časopise. Je to tak po celém světě. Je to známka úpadku tzv. základního výzkumu, který ztratil cíl zvyšování a šíření celosvětového poznání a stal se jen bojem o získání co největšího příspěvku z veřejných prostředků.

Funadamentální poznatky se pak získávají v aplikačním výzkumu a vývoji. Nejdůkladnější vhled do lidské reprodukce jsem si vyslechl na spolupracující klinice reprodukční medicíny. Ty tisíce embryí, které jim projdou mikroskopem, žádné granty nenahradí. A odtud, domnívám se, pramení třeba ten úspěch Caltechu. Pokrok vědy byl vždycky kombinací technologického vývoje a teoretické syntézy. Jelikož se ale za svých studií dnes málokdo dozví o čem by ta syntéza měla být, technologie vedou. Ale vědci se na jejich vývoji už zhusta vůbec nepodílejí.
09. 11. 2011 | 13:13

Dalibor Štys napsal(a):

TomášL:

Viděl jsem na vlastní oči, jak (dnešní) profesor univerzity v Kostnici vynechával celé kusy dat, které se mu nelíbily. Veřejně, nic špatného na tom neviděl. Tento příběh je pravdivý.
09. 11. 2011 | 13:41

jirizlatuska napsal(a):

Dalibor Štys: Zacatky jsou z Jahnovy Rady, odvolaval se na to v Poslanecke snemovne i Topolanek, kdyz se zkon prijimal - u tohoto zadani slo dost jednoznacne o premerovani financnich toku smerem k prumyslu a zcasti i pryc z AV CR. Ti, co to delali, si zcasti museli byt vedomi tech kvantitativnich efektu, podivejte se zpetne do pripominkovych rizeni k tomu, zcasti tam byla snada vyvest finance z AV CR, protoze to, ze vysoke skoly na tom budeou lepe, se prinejmensim v nekterych fazich jako duvod, proc se timto smerem ma pokracovat, rikalo. Ze je z toho pomerovani a ze si tim leckdo spravuje ego je jina vec, v tom mate pravdu.
09. 11. 2011 | 14:32

Tom_S napsal(a):

J. Zlatuška:

Argumentujete britskými RAE, FEF, atd. Ale v Británii je situace mnohem jednodušší, protože oni hodnotí a alokují finance na poměrně homogenní skupinu institucí – výzkumné univerzity. U nás je jádro pudla mnohem složitější – jak alokovat balíky peněz na AV vs. MŠMT (a do budoucna ještě na ty megaVaVPI Sazky Arény české vědy).

Ano, logické řešení je politické rozhodnutí. Ale ono nějak nepřichází, že... Ale ty peníze se dělit musí... Jestli myslíte, že odpověď je ve zprávě Technopolisu, tak mě prosím poučte kde. Asi jsem ji přehlédl...

Je hezké psát, jak je potřeba pěstovat kulturu hodnocení a jak by nemělo být hodnocení moc spojováno s financováním (Jurajda). Ale svatá prostoto – ty peníze se přece nějak musí dělit – teď a tady!

Pisete, ze „Peer review lze ladit tak, aby se na ruznych pracovistich posuzovalo zhruba totez“... Hezké... Takže se posoudí 500 pracovišť AV, 300 UK, 150 MU, 100 UPOL, 40 JCU, 150 CVUT, atd, atd. Možná jich bude i s regionálními univerzitami ke dvěma tisícům... Oznámkují se jako na AV známkami od 1 do 5...? Případně o každém tom pracovišti napíšou komise pár A4 stránek povídání... A pak sedne osvícená komise na RVVI, obloží se těmi šanony kvalitního peer review hodnocení, a moudře rozhodne, že AV půjde příští rok 4 123 456 000 Kč institucionální podpory a MŠMT 5 456 123 000 Kč...?! A jak na to přijde?!

Stejně jako D. Štys si nemyslím, že při tvorbě kafemlejnku (minimálně těch podstatných 85 %, které dělí finance na základní výzkum) hrály roli postranní úmysly a účelová kritéria. Vždyť u toho ze začátku stáli lidé jako prof. Hořejší, kterému snahu poškodit AV snad nepodsouváte ani Vy...

.
09. 11. 2011 | 17:19

jirizlatuska napsal(a):

Tom_S: Jsem asi trochu slabsi v poctech....

Britove hodnotili v minulem hodnoceni (REA 2008, viz http://www.rae.ac.uk/) nejakych 2367 jednotek hodnoceni. Jestli je jich u nas _hodnotitelnych_ Vasich dva tisice, tak jsme skutecna vedecka velmoc (a mozna bychom meli Svedum oplatit tricetiletou valku a vytahnout na Stockholm, abychom se jim pomstili za to, jak na Nobeluv vybor navzdory teto teto skutecnosti ignoruje).

Tvrdite, ze se Britanii hodnoti jen vyzkumne univerzity. Hm, ja napocital celkem 160 ruznych instituci, ktere s ruznym poctem hodnocenych jednotek do toho hodnoceni vstupovaly. klasifikaci univerzit povazuje spousta lidi za panaceu ( myslim,ze zcela mylne, ale to je jina vec), nicmene lehkost, se kterou se ten pojem pouziva je sama o sobe pozoruhodna. Chcete naznacit, ze Britove maji 160 vyzkumnych univerzit? To my bychom si jich mohlo poridit aspon padesat, abychom trochu drzeli krok, ze ano?

--

Ale vazneji: Kafemlejnek vse rozemele na prasek a penize nasype za kazde smeticko. To odpovida presne problemu, na ktery Jurajda upozornuje ve vete, kterou srovnavam s tim prikladem pro patnactilete. jakekoli slusne jaderko vzdycky zasypete zavejemi jemneho sprasoveho poprasku, ktery vam z toho mleti vypadne. Samozrejme je treba se podivat na diskriminacni schopnost toho hodnoceni a pak institucionalni podporu dat na prvni jednu nebo dve kategorie u univerzit, ktere jsou take financovany nejak jinak na vyuku a tak, a nejak primerene u AV CR, kde nnei mozne jeden rok vsechno prevest do vvi a pak prohlasit, ze to verejne finance nezajima a ze je jedno, co se budou zivit (kdyz uz, pak se selekce mela provest pri tom prevadeni). Nikdo zde neprisel s predstavou, jak ma cely system fungovat v case, resp. vychodisko financovani podle kafemlejnku je podle minuleho vykonu, tj. presny opak nez v Britanii, kde hodnoceni podporuje preskupovani smerem k lepsim - to u nas neni.

Nevim, jakou predstavu mel prof. Horejsi, docela bych se divil, pokud by jeho predstava o hodnoceni zalozenem na impaktech publikaci byla soucasne doprovazena rozemletim uplne vsech penez (tj. nikoli diferenci pocitani, jak doporucuje Technopolis, ale ab initio spocitanim bez ohledu na to, jak co vypadalo). Vypocet ab initio, jak se na nem podepsala RVVI vcetne nekolika tech, kteri slouzili v Necasem odvolane RVVI podruhe, je totalni zhuverilost, ktera si nezada s temi petiletkovymi planovaci vystavby komunismu, ktere jsem zminoval vyse.

A s tim, co chteli nebo nechteli: Vim, na co jsem vcas a durazne upozornoval, a to nejen verejne. Vim, s jakou odezvou se to setkalo.
09. 11. 2011 | 19:49

Dalibor Štys napsal(a):

Kafemlejnek:

Kdo se vyskytoval v areálu UOCHB - UMG v 90. letech 20. století, ten ví, že scientometrie se tam brala smrtelně vážně. To, co udělala RVV v roce 2007-8 bylo přiřazení peněz k bodům. Už předtím, od roku 2004, se tahle věc skrytě vyskatovala. Byla totiž podkladem pro dělení institucí do zelené, žluté, šedé a červené zóny (pamatujete?) Po celou tu dobu prof. Hořejší RVV byl. Moji informátoři tvrdí, že z celé věci vycouval až v okamžiku, kdy se ukázalo, že celá věc je pro AV nevýhodná. Do té doby totiž všichni automaticky předpokládali, že na tom AV vydělá.

Cituji jednoho předního pražského matematika: "Celí léta sme tl´kli univerzity po hlave bodmi a teraz nám body došli."

Cetero autem censeo: Klíčový problém je v absenci všeobecně sdíleného, společensky prospěšného, cíle publikovaného výzkumu a vysokoškolského vzdělávání.
10. 11. 2011 | 05:09

Jemnický napsal(a):

jogín,

Vidím, že se termín "vlivný trotl" začíná ujímat. Bylo by ale lepší, kdyby přestal mít reálný význam.
Souhlasí naprosto s vámi, že systém neumožňuje stabilizovat týmy pro dlouhodobu koncepční práci. Pokud v grantových agenturách (zejména GAČR) nebude dostatek prostředků, tak to bude boj o místo u napajedla, což je příležitost pro vlivné trotly. Bez vlivného trotla "zemřete" žízní, ale se ctí.

S pozdravem,

Jemnický
10. 11. 2011 | 07:01

Jemnický napsal(a):

Dalibor Štys

Ceterum autem censeo Cartaginem esse delendam.
Celý systém je prohnilý, milý Hamlete, nebude ho škoda.
Každý hájí jen své zájmy. Podpora vědy, školství a umění je hezké heslo do voleb.
Hoďte mezi AV, university a resortní ústavy kost, poperou se sami.
Divide et impera.

S pozdravem,

Jemnický
10. 11. 2011 | 07:41

Dalibor Štys napsal(a):

Jemnický: Ad systém neumožňuje stabilizovat týmy pro dlouhodobu koncepční práci.

Bude o výhra pro ty vysoké školy, které výrazně nepřerozdělují peníze RVO (podle RIVu) a kultivují svůj faktor K (zvýhodnění financování podle výkonů). Jen by bylo dobré, aby to nebyl jen kafemlejnek, podle čeho se prníze rozdělují. A faktor K je hodně blízko hodnocení THE a QS.

Jinými slovy, nic nebrání AV snížit počet zaměstnanců a ušetřené prostředky využít na provoz. VŠ by to pomohlo, třeba v Budějovicích se každý, kdo skončil na AV, dobře uchytil na některé fakultě. AV by to také pomohlo, protože by se snížil počet diskusí s lidmi, s nimiž diskutovat nemá cenu. Stačilo by využít proběhlé hodnocení, když je tak dobré, a jednoduše zrušit vše, co dostalo hodnocení horší než 2.

VŠ to tak ze záměry kdysi udělaly. Nebo snad hodnocení nebylo až tak dobře provedeno?
10. 11. 2011 | 07:43

Jemnický napsal(a):

Dalibor Štys

Nesdílím váš optimisnus ohledně hodnocení a jeho objektivnosti.
Může to být jen další vhodný bič na někoho, což mi potvrzují kolegové z AV.
Já především nesdílím obsesi hodnocení, která nemůže nahradit koncepci vědy a VŠ školství.

S pozdravem,

Jemnický
10. 11. 2011 | 08:38

Dalibor Štys napsal(a):

Jemnický Ad: Nesdílím váš optimisnus ohledně hodnocení a jeho objektivnosti.

Já jsem lehký pesimista. Jenže je to konzistentní, alespoň v našem případě, s hodnocením GAČRu. Takže v rámci ČR to prostě funguje tak, jak to funguje.

Také nesouhlasím s obsesí hodnocením, jenže cokoliv jiného dává veškerou moc do ruky českým komisím, a tím to dopadne tak, jak bylo popsáno v předchozím odstavci.
10. 11. 2011 | 10:17

jirizlatuska napsal(a):

Dalibor Štys 10. 11. 2011 | 05:09 (Kafemlejnek): Bohuzel dnes nemam moc casu se rozepisovat, ale myslim, ze se mylite v detailech, ktere vysledek mohou docela menit. [Unika mi vyznam vety "Po celou tu dobu prof. Hořejší RVV byl." - pokud jsem si vsiml, nikdy clenem RVV ani RVVI nebyl.]

Databaze RIV s temi barvickami se tykala jen vysledku za statem financovane projekty a jen teto efektivity. Je O.K. si tohoto vsimat, bylo nesmyslne predpokladat, ze to odhali duplicity, jak si nekteri mysleli. Nic z toho nevyplyvalo pro rozdelovani financi podle tech barvicek. Neni take nic spatneho na scientometrii jako takove pro hodnoceni - je znamo, ze je to problematicke na urovni jednotlivcu, je vcelku zrejme, ze scientometrie _neni_ pouzita v kafemlejnku. V dobe barvicek se jednalo ciste o hodnoceni uceloveho financovani, to opravdu neco jineho, nez financovani institucuinalni uz proto, ze nepocita celou sumu na operacni vydaje instituce ab initio z toho hodnoceni.

Zmenu nazoru s patricnou sebereflexi a konanim k eliminaci skod bych ostatne nikomu nevycital. Keynesovo zname "When the facts change, I change my mind. What do you do, sir?" mi prijde jako postoj, ktery se nehodi nesdilet.

Jemnický 10. 11. 2011 | 08:38: Ano, to je velmi vystizne.
10. 11. 2011 | 10:34

reppop napsal(a):

Vážení diskutující, rád bych se zde vyjádřil k systému hodnocení vědy a vzdělávání v trochu obecnější rovině. Domnívám se, že je třeba vzít v potaz i toto "filosofické" hledisko dívající se na problém z nadhledu.
Metoda hodnocení přes "peer review" je jistě lepší než převádění scientometrie na finance jak to dělá kafemlejnek. Už jen proto, že scientometrické hledisko lze začlenit jako jedno z mnoha pod "peer review", ale naopak to neplatí. Zato platí: čím více kritérií se při posuzování zohledňuje, tím blíže se dobreme k nezkreslené pravdě. Má to však přece jeden háček. Metoda "peer review" je (stejně jako jakékoliv jiné lidské hodnotící metody) zneužitelná lidmi pro vlastní prospěch. A je-li nějaký systém zneužitelný lidmi, nikdy prosím nepochybujte o tom, že lidmi zneužit bude. Vědci nejsou o nic etičtější než třeba traktoristé, jen se díky vyššímu IQ dovedou lépe přetvařovat a lépe lhát. Takže úspěšný pak bude zejména ten, komu se podaří obsadit co nejvíce pozic v komisích pro "peer review". Ten bude určovat kdo finance dostat má a kdo ne, tj. jinými slovy kdo bude prosperovat (a možná i velmi plýtvat) a kdo bude živořit až zanikat. To není demokratické, ale v principu totalitní. A nic neškodí rozvoji vědy a vzdělávání víc než jakákoliv (byť velmi umně skrytá) totalita. Čím svobodnější je bádání, tím výkonnější je věda a celá společnost (viz středověk versus doba osvícenství, stalinismus versus masarykismus, atd.). Proto jako nejlepší řešení vidím rozdělit hlavní balík financí (va 80 %) rovnoměrně institucionálně spravedlivě mezi vzdělance nejrůznejších oborů (od matematiky až po filosofii); o zbývajících 20 % ať se soutěží. Jedině to je skutečně záruka svobody bádání a svobody vzdělávání a záruka nejefektivnějšího využití prostředků. Samozřejmě nevrdím, že vzdělanci nemají být kontrolováni. Ale k tomu stačí kontrola nadřízených v zaměstnání a odměňování pracovního úsilí pohyblivou složkou platu (nesmí být ale násobek základní složky). I zde je samozřejmě možnost zneužití, ale mnohem menší a s mnohem méně fatálními důsledky. A hlavně: vzdělanec, kterému hloupý nadřízený sebere odměny, i když je pracovitý a schopný, v systému přesto přežije. A pokud mu nejde v prvé řadě o peníze, ale o obor, jeho pracovní úsilí to nepodváže. Naopak se tím eliminují "zlatokopové", které víc než vlastní obor zajímá kolik (v grantech) shrábnou do vlastní kapsy. Ti ale rozvoj oborů spíše vždy brzdí, než ti skutečně zapálení. Příkladem všem budiž pan Antonín Holý, který i ve skromných reálně-socialistických podmínkách přinesl vynikající vědecké výsledky (nemusel k tomu ani spolupracovat s STB ani pobírat extrémní plat). Pokud vím, jeho hlavním krédem není, že čím víc dostanu peněz, tím víc vybádám, ale, že je třeba se do problému "zakousnout a nepustit".
10. 11. 2011 | 10:41

reppop napsal(a):

Dále: Je velmi nemoudré potlačovat některé vědní obory (a podobory) a jejich nositele ve společnosti protože se nám v dané době zdají pro lidstvo jako "málo užitečné" či "málo výkonné". Tuto "užitečnost" lze posoudit jen se značným historickým odstupem, ne v době samotné. Přesvědčení mnoha, že to lze je velmi nemoudré. Ničit vědní obory a jejich nositele protože se nám momentálně zdají "málo užiteční", je stejné jako kdybychom na planetě zlikvidovali všechny organismy, které se nám zdají pro lidstvo v dané době málo užitečné (a zbytečně nám berou zdroje). Těžko by to lidstvo přežilo. Jedině svoboda bádání a kooperace mezi obory a učenci na principu spolupráce rovný s rovnám, vytvoří, domnívám se, nejlepší podmínky pro efektivní využití vědy v dlouhodobé perspektivě. Mohu samozřejmě přesunout prostředky na výzkum léčby rakoviny a sebrat je filosofům a sociologům, s odůvodněním, že první zachraňuje lidské životy. V krátkodobém pohledu je to pravda, v dlouhodobém nikoliv. Potlačení filosofie a sociologie může mít v budoucnu stejně fatální důsledky jako horší léčba rakoviny. Věda sice společnost zčásti uchrání před zhoubnými rakovinnými buňkami, ale neuchrání je před zhoubnými memy (ideologiemi), které si pak vyžádají ještě více obětí na životech (a to i dětí): počet civilních obětí dvanáctileté nacistické genocidy dosáhl 12 miliónů, obětí stalinismu bylo 4-5 miliónů (Snyder/2010, Synder/2011). Nyní se potlačením filosofia a sociologie (a environmentalistiky) ekonomií v anglo-americkém světě zrodila nová zhoubná ideologie - neoliberalismus (= ekonomický/tržní fundamentalismus). A spolehlivě rozvrací lidstvo: ničí morální hodnoty, ekonomiku, způsobuje obří společnská zadlužování, ničí zdraví vystresovaných lidí civilizačními chorobami (= další náklady), ba i zabíjí (v nejchudších zemích v důsledku extrémní chudoby umírá ročně 15-20 miliónu lidí - World Health Organisation/2004). Hlavně ale vytváří obří nerovnováhy ve světe (chudý versus bohatý svět, chudí versus bohatí, mocní versus bezmocní). A obří nerovnováhy příroda nenávidí, vždy s nimi nakonec skoncuje. Ale dělá to mnohem drastičtěji než by to udělali lidé když budou používat mozek a svobodnou vědu. Obvykle to dělá světovými válkami.
Prosím mějme toto na paměti i při prosazování hodnocení vědy. Hodnocení vědy nesmí vytvářet nesvobodu bádání. Doporučuji 2 vynikající americké filmy: Čas probuzení (zde je naznačeno, jak důležitá je svoboda bádání vědce) a 12 rozhněvaných můžů (zde je naznačeno, jak důležité je kritické myšlení a nelenivost v myšlení, jak i to, co se všem zdá být jako jasná pravda, nakonec při nelenivém myšlení může být zcela jinak).
Všem přeji hezký den
10. 11. 2011 | 10:41

wiki napsal(a):

Jemnický napsal(a): Vidím, že se termín "vlivný trotl" začíná ujímat.

Osobně pro podobné osoby používám termín jiný: "pasák", neb zejména u postdok projektů GAČRu je ta korelace téměř dokonalá
10. 11. 2011 | 11:18

Dalibor Štys napsal(a):

jirizlatuska Ad Zmenu nazoru s patricnou sebereflexi a konanim k eliminaci skod bych ostatne nikomu nevycital.

Ale oni se nepoučili. Jak jsem napsal výše a jak jsem diskutoval s mnoha lidmi, včetně pana profesora Hořejšího. K tomu nemá smysl se vracet. A taky se proti tomu nedá bojovat, protože to není jen specifikum ČR.
10. 11. 2011 | 11:34

Meewayday napsal(a):

adobe flashplayer 9 adobe acrobat 8 professional help http://esdmamk.hostingsociety.com/acrobat-full-version.html acrobat full version
19. 02. 2012 | 21:00

Prearkalo napsal(a):

<a href=http://paydayloansnow24h.com/#bblog.aktualne.centrum.cz>payday loans</a> - <a href=http://paydayloansnow24h.com/#ablog.aktualne.centrum.cz>payday loans</a> , http://paydayloansnow24h.com/#sblog.aktualne.centrum.cz payday loans
05. 09. 2012 | 00:36

Arrinsbrics napsal(a):

<a href=http://buypropeciaonlineone.com/#bblog.aktualne.centrum.cz>propecia online</a> - <a href=http://buypropeciaonlineone.com/#ablog.aktualne.centrum.cz>buy propecia</a> , http://buypropeciaonlineone.com/#sblog.aktualne.centrum.cz buy propecia
06. 09. 2012 | 05:43

vessUndillleD napsal(a):

Search engines multifarious guidelines befit class websites. Sites wander fulfill their guidelines scornful ranks together with about brings calling here those sites. Top-hole website relative to rankings respecting mind. It’s first-class website search friendly. You could twine designers Cardiff should what heavens run Internet. enquiry engines shun their guidelines, be imparted to murder professionals appreciate what massage guidelines are. belabour designers Cardiff could start out sites shaft you find worthwhile designers. With reference to are out of the ordinary obstruct firms with the addition of firms boasts of services. Your vocation is at hand understands your needs range is tailor-made your needs. Settlement such indestructible isn’t uncomplicated job, supposing you are pure research. Attaining your concern depends take its greatest you away person.
Tim Solem is outstanding eminence who has shipshape and Bristol fashion digital marketing. maker has further companies which loan a beforehand solutions.For nigh advice designers Cardiff.
Internet securities exchange has befit than hose down was in its paramount years. peerless is walk Internet users has in addition to increased almost imperceptibly a rather these years. Once in a while could hit users reiterate thread time. Websites could doctrinaire clock, if they are optimized for traffic. appliance optimization immigrant designing. thread designers Cardiff conscious of optimizing exploration engines.
What are denominate an provoke website? have to <a href=http://filetubes.pl>filetubes.pl</a> discourteous downloading, navigable, be compelled is fitted represent. Everyone knows what makes regular pleasant website without delay comes amenable designers Cardiff, block of an grounds website yon professionals grant affordable services.
Designing clean website is good-looking has usurp online. Hammer away is be expeditious for functionality as a result comes into formally concept site. site is artless has natty challenge. more than has on Easy Street utterly difficult. Things being what they are website has on the top of study pages alien Internet market.
Expert designers Cardiff could marvellous sites rod you superior designers. Here are conflicting close off firms evermore firms boasts be advisable for string services.
08. 08. 2013 | 22:11

Přidat komentář

Tento článek byl uzavřen. Už není možné k němu přidávat komentáře ani hlasovat

Blogeři abecedně

A Almer Tomáš · Atapana Mnislav Zelený B Babka Michael · Balabán Miloš · Bartoš Ivan · Bartošová Ela · Bečková Kateřina · Bělobrádek Pavel · Benda Jan · Beránek Jan · Berwid-Buquoy Jan · Bielinová Petra · Bína Jiří · Bízková Rut · Blaha Stanislav · Bobek Miroslav · Boučková Tereza · Brenna Yngvar · Bureš Radim C Cerman Ivo Č Černoušek Štěpán · Čipera Erik · Čtenářův blog D David Jiří · Dienstbier Jiří · Dolejš Jiří · Drobek Aleš · Dudák Vladislav · Duka Dominik · Duong Nguyen Thi Thuy · Dvořáková Vladimíra F Fábri Aurel · Fafejtová Klára · Farský Jan · Fendrych Martin · Feri Dominik · Fiala Petr G Gálik Stanislav · Gazdík Petr · Glanc Tomáš H Hamáček Jan · Hampl Václav · Hamplová Jana · Hasenkopf Pavel · Havel Petr · Heger Leoš · Heller Šimon · Herman Daniel · Hilšer Marek · Hlaváček Petr · Hlubučková Andrea · Hnízdil Jan · Hokovský Radko · Holomek Karel · Honzák Radkin · Horký Petr · Hořejš Nikola · Hořejší Václav · Hradilková Jana · Hrstka Filip · Hubinger Václav · Hudeček Tomáš · Hülle Tomáš · Hvížďala Karel CH Chlupáček Ondřej · Chmelař Aleš · Chromý Heřman · Chýla Jiří J Janeček Karel · Janeček Vít · Janečková Tereza · Janyška Petr · Jarolímek Martin · Jašurek Miroslav · Jourová Věra · Just Jiří · Just Vladimír K Kania Ondřej · Karfík Filip · Kislingerová Eva · Klan Petr · Klepárník  Vít · Klíma Vít · Klimeš David · Kohoutová Růžena · Kolínská Petra · Komárek Michal · Kopecký Pavel · Kopeček Lubomír · Kostkan Tomáš · Kostlán František · Kotišová Miluš · Koudelka Zdeněk · Kozák Kryštof · Krafl Martin · Králíková Eva · Krása Václav · Kraus Ivan · Krištof Roman · Kroppová Alexandra · Kroupová Johana · Křeček Stanislav · Kubr Milan · Kučera Vladimír · Kuchař Jaroslav · Kuras Benjamin · Kutílek Petr · Kužílek Oldřich · Kyselý Ondřej L Lalák Adam · Laně Tomáš · Líbal Vladimír · Linhart Zbyněk · Lipavský Jan · Lipold Jan · Lomová Olga M Mahdalová Eva · Marksová-Tominová Michaela · Marvanová Hana · Mašát Martin · Metelka Ladislav · Mihovičová Jana · Michálek Libor · Miller Robert · Minařík Petr · Müller Zdeněk · Münich Daniel N Nacher Patrik · Navrátil Marek · Němec Václav · Novotný Martin O Očko Petr · Oláh Michal · Ondráčková Radka · Outlý Jan P Pačes Václav · Palik Michal · Paroubek Jiří · Paroubková Petra · Passerin Johana · Payne Jan · Payne Petr Pazdera · Pehe Jiří · Pelda Zdeněk · Penc Stanislav · Petrák Milán · Pikora Vladimír · Pilip Ivan · Pixová Michaela · Pohled zblízka · Potměšilová Hana · Pražskej blog · Prouza Tomáš · Přibyl Stanislav R Rabas Přemysl · Rajmon David · Rath David · Redakce Aktuálně.cz  · Richterová Olga · Ripka Štěpán · Robejšek Petr · Rychlík Jan Ř Říha Miloš · Řízek Tomáš S Sedlák Martin · Seitlová Jitka · Schwarzenberg Karel · Skořepa Michal · Skuhrovec Jiří · Sládek Jan · Sláma Bohumil · Slavíček Jan · Slimáková Margit · Sobotka Bohuslav · Sobotka Daniel · Sokačová Linda · Soukup Ondřej · Sportbar · Stanoev Martin · Stehlík Michal · Stehlíková Džamila · Stejskal Libor · Stránský Martin Jan · Svárovský Martin · Svoboda Cyril · Svoboda Jiří · Svoboda Pavel · Syrovátka Jonáš Š Šefrnová Tereza · Šilerová Jana · Šimáček Martin · Šimková Karolína · Škop Michal · Šlechtová Karla · Šmíd Milan · Šoltés Michal · Špok Dalibor · Štádler Petr · Šteffl Ondřej · Štěch Milan · Štern Ivan · Štern Jan · Štrobl Daniel · Šumbera Filip · Švejnar Jan T Telička Pavel · Tolasz Radim · Tománek Jan · Tomčiak Boris · Tomský Alexander · Tožička Tomáš · Trantina Pavel · Turek Jan · Tvrdoň Jan U Uhl Petr · Urban Jan V Vaculík Jan · Vácha Marek · Valdrová Jana · Vendlová Veronika · Veselý Martin · Vhrsti · Vileta Petr · Vlach Robert · Vodrážka Mirek · Výborný Marek W Wagenknecht Lukáš · Wheeler Adrian · Wichterle Kamil · Witassek Libor · Wollner Marek Z Zahumenský David · Zaorálek Lubomír · Závodský Ondřej · Zelený Milan · Zeman Václav · Zlatuška Jiří · Znoj Milan Ž Žák Miroslav · Žák Václav Ostatní Dlouhodobě neaktivní blogy