Úroveň kontrol v předvolebních výzkumech ČT je nadstandardní

05. 10. 2012 | 08:28
Přečteno 3452 krát
Již několik dní probíhají na internetu diskuse nad formátem výstupů a přesností předvolebních výzkumů včetně použitých metodologií, jejichž zpracování si zadávala ČT a ČRo. Protože jsem s metodologií i výstupy výzkumných šetření zpracovaných pro ČT detailně seznámen, pokusím se je popsat a přiblížit.

Přesnost výběrových šetření – statistická chyba

Předvolební výzkumy jsou obvykle realizovány na principu výběrového šetření. Princip spočívá v tom, že pouze vybraní jedinci z populace (výběrový vzorek) odpovídají na položené otázky a zjištěné výsledky se následně zobecňují pro celou populaci. Jednotliví respondenti pro dotazování jsou vybíráni náhodně, ale tak, aby počty respondentů (kvóty) podle jednotlivých socio-demografických charakteristik ve výběrovém vzorku odpovídaly struktuře populace. Data získaná na takovém vzorku jsou reprezentativní, tedy platná i pro celou populaci. Přesto nese jejich zobecnění na celou populaci jistou míru nejistoty ohledně jeho správnosti - hovoříme o tom, že je měření zatíženo statistickou chybou. Tato chyba je náhodná a nepravidelná, nelze ji odstranit, ale její rozpětí lze za použití matematické statistiky odhadnout prostřednictvím výpočtu tzv. směrodatné odchylky.

Existuje jednoznačný matematický vztah mezi statistickou chybou na straně jedné a počtem respondentů v dotazovaném vzorku a odhadem procenta výskytu nějakého (měřeného) jevu v populaci na straně druhé. Velikost statistické chyby naměřených hodnot je závislá na počtu respondentů ve vzorku a jen zanedbatelně na velikosti populace, pro kterou jsou výsledky zobecněny. Zvyšování počtu dotazovaných respondentů snižuje statistickou chybu naměřených hodnot (pochopitelně ale zároveň zvyšuje finanční náklady výzkumu).

Systematické a hrubé chyby výběrových šetření


Výsledky každého výběrového šetření prováděného dotazováním mohou být vedle statistické chyby dále zatíženy systematickou chybou nebo i hrubou chybou.

Systematickou chybou rozumíme chybu nenáhodnou, která je během dotazování způsobena stále stejnou příčinou. Vzniká například při nevhodné konstrukci výběrového vzorku.

Hrubé chyby jsou způsobeny výjimečnou příčinou – vznikají například nesprávným zapsáním odpovědi v rámci jednotlivých rozhovorů nebo selháním jednotlivého tazatele apod.

Zkušenost ukazuje, že při měření volebních preferencí metodou osobního dotazování, které bylo použito v případě předvolebního výzkumu ČT, častěji vzniká systematická či hrubá chyba při výzkumech realizovaných na území jednotlivých krajů než v rámci celé ČR. Chce-li totiž výzkumná agentura dodržet stejný maximální limit statistické chyby pro jeden výzkum v rámci celé ČR a druhý v jednotlivém kraji, pak musí v obou případech dotazovat téměř shodný počet respondentů. Je přitom logické, že pro výzkumnou agenturu je podstatně snazší sehnat dostatek tazatelů pro realizaci stejného počtu rozhovorů v rámci celé ČR než v jednom kraji. Nízký počet tazatelů v rámci jednotlivých krajů pak bývá příčinou vzniku různých systematických a hrubých chyb. Je-li málo tazatelů, pak na každého z nich připadá příliš mnoho rozhovorů. Aby vysoký počet rozhovorů tazatel zvládl, má tendenci pomáhat si tím, že začne dotazovat respondenty, se kterými se osobně stýká, a ti jsou si často podobní, což vede ke zkreslení vzorku respondentů vůči populaci – vzniká systematická chyba. V horším případě může nějaký tazatel zcela selhat a začít si rozhovory vymýšlet – vzniká hrubá chyba. Malý počet tazatelů navíc implikuje nízký počet výběrových bodů, tj. míst, kde se dotazuje (například menších obcí) a šetření pak nemusí dostatečně přesně odrážet diferenci politických preferencí v různých lokalitách - vzniká systematická chyba.

Systematické a hrubé chyby ovlivňující správnost naměřených výsledků je možné účinně eliminovat jedině dostatečně velkou tazatelskou sítí a důslednou a vícestupňovou kontrolou. Právě na tomto poli udělala podle mého názoru jak ČT (resp. její oddělení VPA), tak i výzkumné agentury, které šetření realizovaly, maximum možného.

Metodiky sběru, zpracování a kontroly dat

ČT realizuje předvolební výzkumy se dvěma agenturami (STEM/MARK a SC&C), a proto je možné do výzkumu zapojit mnohem více tazatelů, což mimo jiné umožnilo omezit počet rozhovorů realizovaných jedním tazatelem na dvacet. Obě agentury společně s ČT předem stanovují rozdělení výběrových bodů mezi obě agentury. Každá realizuje v daném kraji minimálně 500 rozhovorů a obě musí pro výběr respondentů dodržet všechny předem stanovené kvóty na pohlaví, věk, vzdělání, velikost místa bydliště a okres. Nemůže se tedy stát, že by některá z nich realizovala rozhovory pouze ve dvou ze čtyř okresů nebo pouze ve vybraných velikostních kategoriích sídel.

Data získaná oběma agenturami jsou zaslána do ČT, kde je odborní pracovníci ČT detailně zkontrolují. Provádějí logickou kontrolu dat, zkoumají konzistenci odpovědí jednotlivých tazatelů a k dispozici mají od agentur také kontroly přibližně 90 % všech rozhovorů, a to buď ve formě anonymizovaných audio záznamů rozhovorů, nebo kontrolního telefonátu s dříve dotazovaným respondentem. Všechny případné nejasnosti se s agenturami vysvětlují. Pokud je nalezena významná diference mezi naměřenými výsledky obou agentur, zjišťuje se, proč k ní došlo. Byl tak například nalezen tazatel, který záměrně zkresloval odpovědi ve prospěch jedné kandidující strany – všechny jím odevzdané rozhovory byly po ověření z datového souboru vyloučeny.

Teprve po těchto kontrolách specialisté z oddělení výzkumu ČT spojí oba parciální datové soubory do jednoho a ten převáží tak, aby z hlediska kvótních proměnných odpovídal co nejpřesněji cílové populaci. Vznikne tak jeden finální soubor, který lze považovat za jeden koordinovaný výběr o velikosti větší než 1000 respondentů. Odborníci ČT z tohoto souboru vytvoří podle veřejně dostupného klíče volební model (viz dále), který spolu s finálním datovým souborem pošlou zpátky agenturám k odsouhlasení. Agentury tak zpět od ČT dostanou ve finálním souboru nejen svá data, ale i data druhé agentury. Data i výstupy jsou tedy kontrolována jak specialisty ČT, tak křížem oběma agenturami. Až po odsouhlasení všemi stranami a v případě, že nejsou proti datům či modelu vzneseny některou ze stran námitky, je volební model poskytnut k publikování. Přestože se zabývám výzkumy volebních preferencí dlouhodobě, musím říci, že jsem se v praxi ještě nesetkal s tak transparentní a velmi nadstandardní úrovní kontrol.

Konstrukce volebního modelu z předvolebních výzkumů ČT

Výzkumy volebních preferencí mohou mít různé výstupy – například stranické preference, volební prognózu nebo volební model. Zejména pro laickou veřejnost (včetně médií) ale není často jednoduché porozumět, jakou informaci nám různé výstupy dávají a jak je správně chápat. Stranické preference poskytují obraz o volebním postoji celé populace. Vedle respondentů, kteří deklarují volbu určité strany, zahrnují i ty, kteří nevědí koho volit nebo k volbám jít nehodlají. Volební prognóza odhaduje výsledek budoucích voleb. Nutnou podmínkou konstrukce relevantní sofistikované volební prognózy je mimo jiné dlouhodobá stabilita v postojích voličů a ve vzorcích jejich volebního chování. Ta ovšem začala v ČR počínaje rokem 2003 spíše oslabovat, zejména co se týče volební účasti. Domnívám se, že to je jedním z hlavních důvodů, proč výzkumné agentury na vytváření prognóz postupně rezignovaly.

Volební model nemusí být ekvivalentem volební prognózy. Obvykle odhaduje aktuální „sílu“ politických stran, jíž lze interpretovat také jako výsledek hypotetických voleb, které by se konaly v období sběru dat - právě tímto způsobem funguje volební model ČT. Srovnání naměřených výsledků takového modelu se skutečnými výsledky voleb je možné jen s velkou rezervou. Důvod je jednoduchý – dlouhodobě stoupá počet voličů, kteří své volební rozhodnutí činí až těsně před volbami. Například exit poll uskutečněný u příležitosti voleb do PSP ČR v roce 2010 zjistil, že celá třetina voličů se rozhodla, komu dá svůj hlas, až 14 dní před volbami. Volební model ČT je čistě matematický a není do něj tedy vnášen žádný vlastní názor (ani agentur, ani ČT). Vstupují do něj pouze ti respondenti, kteří:

- uvedou, že se určitě nebo spíše zúčastní krajských voleb
- a současně uvedou konkrétní preferované politické uskupení pro krajské volby
- a současně uvedou, že o volbě dané strany jsou určitě nebo spíše přesvědčeni

Kupříkladu do volebního modelu ČT pro Zlínský vstupuje 523 respondentů. Z jejich počtu vyplývá, že třeba naměřená hodnota 23 % pro ČSSD je zatížena statistickou chybou +- 3,62 %, zatímco hodnota 6 % naměřená pro Zemanovce je zatížena statistickou chybou +- 2,04 %. Zbývající respondenty do celkového počtu výběrového souboru o velikosti 1028 dotazovaných tvoři Ti, kteří určitě nebo spíše nepůjdou k volbám, neví koho volit či o deklarované volbě nejsou určitě nebo spíše přesvědčeni.

Komplexnost informací podávaných předvolebními výzkumy ČT

Volební model je součástí souhrnné zprávy z předvolebních výzkumů ČT pro jednotlivé kraje, které jsou publikovány na webu ČT. Ve zprávách nejsou explicitně publikovány naměřené stranické preference, na což existují dva protichůdné názory. První preferuje samostatné publikování volebního modelu, když se odvolává na předchozí zkušenosti, kdy část laické veřejnosti bývala do značné míry zmatena současným zveřejňováním stranických preferencí a volebního modelu s navzájem různou úrovní procentuálních zisků pro jednotlivé strany (do jednoho základu jsou například započítáni nerozhodnutí, do druhého nikoli). Druhý názor předpokládá vyšší „statistickou gramotnost“ laické veřejnosti a považuje samostatné zveřejnění volebního modelu za nedostatečné, neboť neobsahuje některé důležité informace, které lze vyčíst ze stranických preferencí - zejména množství dosud nerozhodnutých voličů.

Osobně jsem přesvědčen, že struktura výstupů publikovaná ve zprávách z předvolebních výstupů ČT je správným kompromisem mezi oběma názory. Vedle volebního modelu (včetně statistické chyby pro zisk nejsilnější a nejslabší strany) je totiž ve zprávách také zveřejněn podíl nerozhodnutých voličů mezi těmi, kteří se určitě nebo spíše zúčastní voleb, a to jak v procentuálním vyjádření, tak v absolutním počtu respondentů. Zpráva tak obsahuje všechny potřebné údaje pro to, aby si mohla odborná veřejnost z volebního modelu stranické preference spočítat, aniž by musely být explicitně zveřejněny.

Považuji také za korektní, že při počtu respondentů, kteří do volebních modelů pro jednotlivé kraje vstupují, ČT nezveřejňuje zisky stran nižší než 2 % (s vyplývající statistickou chybou +-1,2 %), protože pod tímto limitem již není zaručeno tzv. normální rozdělení statistické chyby.

Konečně považuji za důležité také poznamenat, že přes rozsáhlé a hluboké diskuse s odborníky mimo okruh ČT a jí najatých agentur jsme nedokázali nalézt lepší koncepci ani způsob realizace krajských předvolebních výzkumů, aniž by bylo nutné výrazně navýšit finanční náklady vynaložené ČT.

Michal Jankovec
Autor má dlouholeté zkušenosti s výzkumy veřejného mínění, je členem Rady ČT

(podrobnější rozpracování poznámek Michala Jankovce k předvolebním průzkumům ČT najdete na stránkách České televize)

Blogeři abecedně

A Aktuálně.cz Blog · Atapana Mnislav Zelený B Baar Vladimír · Babka Michael · Balabán Miloš · Bartoníček Radek · Bartošek Jan · Bartošová Ela · Bavlšíková Adéla · Bečková Kateřina · Bednář Vojtěch · Bělobrádek Pavel · Beránek Jan · Berkovcová Jana · Bernard Josef · Berwid-Buquoy Jan · Bielinová Petra · Bína Jiří · Bízková Rut · Blaha Stanislav · Blažek Kamil · Bobek Miroslav · Boehmová Tereza · Brenna Yngvar · Bureš Radim · Bůžek Lukáš · Byčkov Semjon C Cerman Ivo · Cizinsky Ludvik Č Černoušek Štěpán · Česko Chytré · Čipera Erik · Čtenářův blog D David Jiří · Davis Magdalena · Dienstbier Jiří · Dlabajová Martina · Dolejš Jiří · Dostál Ondřej · Dudák Vladislav · Duka Dominik · Duong Nguyen Thi Thuy · Dvořák Jan · Dvořák Petr · Dvořáková Vladimíra E Elfmark František F Fafejtová Klára · Fajt Jiří · Fendrych Martin · Fiala Petr · Fibigerová Markéta · Fischer Pavel G Gálik Stanislav · Gargulák Karel · Geislerová Ester · Girsa Václav · Glanc Tomáš · Goláň Tomáš · Gregorová Markéta · Groman Martin H Hájek Jan · Hála Martin · Halík Tomáš · Hamáček Jan · Hampl Václav · Hamplová Jana · Hapala Jiří · Hasenkopf Pavel · Hastík František · Havel Petr · Heller Šimon · Herman Daniel · Heroldová Martina · Hilšer Marek · Hladík Petr · Hlaváček Petr · Hlubučková Andrea · Hnízdil Jan · Hokovský Radko · Holásková Kamila · Holmerová Iva · Honzák Radkin · Horáková Adéla · Horký Petr · Hořejš Nikola · Hořejší Václav · Hrabálek Alexandr · Hradilková Jana · Hrstka Filip · Hřib Zdeněk · Hubálková Pavla · Hubinger Václav · Hülle Tomáš · Hušek Radek · Hvížďala Karel CH Charanzová Dita · Chlup Radek · Chromý Heřman · Chýla Jiří · Chytil Ondřej J Janda Jakub · Janeček Karel · Janeček Vít · Janečková Tereza · Janyška Petr · Jelínková Michaela Mlíčková · Jourová Věra · Just Jiří · Just Vladimír K Kaláb Tomáš · Kania Ondřej · Karfík Filip · Karlický Josef · Klan Petr · Klepárník  Vít · Klíma Pavel · Klíma Vít · Klimeš David · Klusoň Jan · Kňapová Kateřina · Kocián Antonín · Kohoutová Růžena · Koch Paul Vincent · Kolaja Marcel · Kolářová Marie · Kolínská Petra · Kolovratník Martin · Konrádová Kateřina · Kopeček Lubomír · Kostlán František · Kotišová Miluš · Koudelka Zdeněk · Koutská Petra Schwarz · Kozák Kryštof · Krafl Martin · Krása Václav · Kraus Ivan · Kroupová Johana · Křeček Stanislav · Kubr Milan · Kučera Josef · Kučera Vladimír · Kučerová Karolína · Kuchař Jakub · Kuchař Jaroslav · Kukal Petr · Kupka Martin · Kuras Benjamin · Kutílek Petr · Kužílek Oldřich · Kyselý Ondřej L Laně Tomáš · Linhart Zbyněk · Lipavský Jan · Lipold Jan · Lomová Olga M Máca Roman · Mahdalová Eva · Máchalová Jana · Maláčová Jana · Málková Ivana · Marvanová Hana · Mašát Martin · Měska Jiří · Metelka Ladislav · Michálek Libor · Miller Robert · Minář Mikuláš · Minařík Petr · Mittner Jiří · Moore Markéta · Mrkvička Jan · Müller Zdeněk · Mundier Milan · Münich Daniel N Nacher Patrik · Nachtigallová Mariana Novotná · Návrat Petr · Navrátil Marek · Němec Václav · Nerudová Danuše · Nerušil Josef · Niedermayer Luděk · Nosková Věra · Nouzová Pavlína · Nováčková Jana · Novák Aleš · Novotný Martin · Novotný Vít · Nožička Josef O Obluk Karel · Ocelák Radek · Oláh Michal · Ouhel Tomáš · Oujezdská Marie · Outlý Jan P Pačes Václav · Palik Michal · Paroubek Jiří · Pavel Petr · Pavelka Zdenko · Payne Jan · Payne Petr Pazdera · Pehe Jiří · Peksa Mikuláš · Pelda Zdeněk · Petrák Milán · Petříček Tomáš · Petříčková Iva · Pfeffer Vladimír · Pfeiler Tomáš · Pícha Vladimír · Pilip Ivan · Pitek Daniel · Pixová Michaela · Plaček Jan · Podzimek Jan · Pohled zblízka · Polách Kamil · Polčák Stanislav · Potměšilová Hana · Pražskej blog · Prouza Tomáš R Rabas Přemysl · Rajmon David · Rakušan Vít · Ráž Roman · Redakce Aktuálně.cz  · Reiner Martin · Richterová Olga · Robejšek Petr · Ruščák Andrej · Rydzyk Pavel · Rychlík Jan Ř Řebíková Barbora · Řeháčková Karolína Avivi · Říha Miloš · Řízek Tomáš S Sedlák Martin · Seitlová Jitka · Schneider Ondřej · Schwarzenberg Karel · Sirový Michal · Skalíková Lucie · Skuhrovec Jiří · Sládek Jan · Sláma Bohumil · Slavíček Jan · Slejška Zdeněk · Slimáková Margit · Smoljak David · Smutný Pavel · Sobíšek Pavel · Sokačová Linda · Soukal Josef · Soukup Ondřej · Sportbar · Staněk Antonín · Stanoev Martin · Stehlík Michal · Stehlíková Džamila · Stránský Martin Jan · Strmiska Jan · Stulík David · Svárovský Martin · Svoboda Cyril · Svoboda Jiří · Svoboda Pavel · Sýkora Filip · Syrovátka Jonáš Š Šebek Tomáš · Šefrnová Tereza · Šimáček Martin · Šimková Karolína · Šindelář Pavel · Šípová Adéla · Šlechtová Karla · Šmíd Milan · Šojdrová Michaela · Šoltés Michal · Špalková Veronika Krátká · Špinka Filip · Špok Dalibor · Šteffl Ondřej · Štěpán Martin · Štěpánek Pavel · Štern Ivan · Štern Jan · Štětka Václav · Štrobl Daniel T T. Tereza · Táborský Adam · Tejkalová N. Alice · Telička Pavel · Titěrová Kristýna · Tolasz Radim · Tománek Jan · Tomčiak Boris · Tomek Prokop · Tomský Alexander · Trantina Pavel · Tůma Petr · Turek Jan U Uhl Petr · Urban Jan V Vacková Pavla · Václav Petr · Vaculík Jan · Vácha Marek · Valdrová Jana · Vančurová Martina · Vavruška Dalibor · Věchet Martin Geronimo · Vendlová Veronika · Vhrsti · Vích Tomáš · Vlach Robert · Vodrážka Mirek · Vojtěch Adam · Vojtková Michaela Trtíková · Vostrá Denisa · Výborný Marek · Vyskočil František W Walek Czeslaw · Wichterle Kamil · Wirthová Jitka · Witassek Libor Z Zádrapa Lukáš · Zajíček Zdeněk · Zaorálek Lubomír · Závodský Ondřej · Zelený Milan · Zeman Václav · Zima Tomáš · Zlatuška Jiří · Zouzalík Marek Ž Žák Miroslav · Žák Václav · Žantovský Michael · Žantovský Petr Ostatní Dlouhodobě neaktivní blogy