Člen rady ČRo: Předvolební průzkumy jsou jako předpověď počasí.

27. 09. 2012 | 04:27
Přečteno 5447 krát
Kdo koho tahá za nos? Český rozhlas (ČRo) voliče, ppt factum tahá ČRo, vedení ČRo tahá Radu ČRo nebo nakonec já všechny?


Úvod do děje


Jak asi víte, předvolební modely ČT a ČRo se v prvních krajích zásadně rozcházely (Pce, HK, Zlín). Což samozřejmě má dost podstatný dopad, zvláště na strany kolem 5 %. Zda se stanou pro mnoho lidí relevantní volbou. Bez nadsázky tyto průzkumy (modely) mohou rozhodnout volby.

    Od posledního článku se staly 3 důležité věci:
  • ČRo mi (11.9.2012) – jen částečně – odpověděl na žádost o informace (nedal data) (průzkumy pro ČRo stojí zhruba 1.5 mil bez daně, pro ČT v podstatě to samé 2x tolik)

  • ČRo zveřejnila (20.9.2012) podrobnější metodiku od šéfů oddělení výzkumu ČRo a agentury, která průzkum provádí (ppm factum).

  • Včera (26.9.2012) zasedala Rada ČRo, která se průzkumům/modelům věnovala (zhruba od času 24:00, odtud i nadpis článku)


Začíná (mi) svítat

Takže jsme schopni se na ty modely/průzkumy podívat výrazně lépe (ač stále zdaleka ne dokonale). A můžeme přijít s teorií, kde je část problému. A pokud to tak je, tak i ta část je pořádný problém.

Zde je třeba uvést, že na to už částečně poukazoval p. Kotrba v B.Listech a docvaklo mi to až pří úterní hodině Analýzy dat, kde jsme se studenty rozebírali data z „hradeckých“ průzkumů.

Odvážná hypotéza


Jeden problém asi (bohužel, stále nemáme všechny informace) je, že ČRo (ppm factum) zásadně (až podvodně?) reportuje nižší samotnou statistickou chybu modelu. Zdá se to technická věc, ale na těch průzkumech potom stojí otázky v předvolebních diskusích typu „jak nám vysvětlíte, že máte oproti posledním volbám o 10 % méně?“, které jsou podstatnou částí těch diskusí.

Krok po kroku


Vraťme se na začátek a uveďme to na jednoduchém příkladě odhadu pro ČSSD v Pardubicích (kraj).

  1. V Pardubicích odpovídalo 1004 lidí.

  2. ČRo reportuje odhad 17.6 % +- 2.4 % (čemuž říká 90% interval spolehlivosti, tedy že na 90 % skutečná podpora ČSSD je v tom intervalu) (slide 10 a 11).

  3. První menší chyba?


  4. Dle metodiky po přepočítání to je ale 95% interval, 90% by byl +- 2.0 % (1. problém, menší, dokonce opačným směrem)

  5. Něco menšího nám ČRo neprozradí


  6. Důvody pro účast ve volbách řeklo 450 lidí (45 %), nicméně ČRo předpovídá účast 39 % (~390 lidí). Takže to nějak přepočítává, ale neřekne jak. Black box. Rozdíl může být tím, že 60 lidí, co chce jít k volbám, neřeklo stranu. Zhruba 390 lidí jim řeklo stranu (já vím, oni tam mají "model", ale jak k němu dojdou, tají, tak alespoň náš odhad)

  7. ČSSD tedy v průzkumu podpořilo tak 69 lidí (17.6 % z 390).

  8. Odbočka


  9. Není bez zajímavosti, že 1 % v modelu odpovídá ani ne 4 lidem. Takže takové strany s podporou 2 % ...

  10. A rovnou zpět na hlavní problém


  11. ČRo počítá dle metodiky statistickou chybu +-2.4 % (jak už víme, říká jí 90%, ale spíše jde o 95%) z 1004 lidí. Moment – ale přeci hlasovat již zvolenou stranu chce jít jen 390 lidí!
  12. Metodika to vysvětluje "Respondenti, kteří na otázku [kterou stranu by volili] uvedli odpověď „neví“ nebo „nešel by volit“, vstupují do volebního modelu s nulovou vahou." To je ale jen jinak a fikanějí napsáno, že tyto odpovědi se pro model prostě nepoužijí. Ale na tohle snad neskočíme, že. Takže model se reálně tvoří z nějakých 390 odpovědí, ale říkají, že 1004. A tím podceňují statistickou chybu. 2. problém, zásadní.

  13. Takže spočtěme stat. chybu tak, jak si myslíme, že je to správně, tedy 95%, ale z 390 lidí: +- 3.6 % To je ale 1.5x tolik než kolik říkají. (U stran kolem 25 % podpory to je dokonce tak +-4.3 %)

  14. Ilustrace


    Gratuluji těm, co se v číslech neztratili. Pokud mezi nimi nejste, nevadí. Nejste jistě sami. Zhruba to vypadá takto:


    Ještě nejsme v cíli


  15. Samozřejmě, pořád to nevysvětluje "tak velké rozdíly mezi ČT a ČRo, ale už se blížíme. Snad to do voleb stihneme.


Další problematická místa:


  • ČRo odmítá poskytnout (i přes žádost o informace dle z. 106/1999) zdrojová data. To nese dva problémy:
    a) nelze nezávisle ověřit, zda ty výpočty jsou správně, Factum/ČRo si může reportovat, co se jim zlíbí
    b) data jsou zaplacena z veřejných peněz, tak by měla být veřejná k dalšímu využítí
    (nehledě na to, že pokud ČRo bude referovat o některých případech odmítání poskytnutí informací, bude to odteď trochu pokrytecké)

  • ČRo v metodice (v debatách, nakonec i té Radě ČRo) říká, že zve ty strany, které s 90% pravděpodobností překročí hranici 5 %. Dle mě tam ale počítají 97.5% hranici. A to (chybně) z 1004 lidí a ne z těch 390. To ovlivňuje hosty debaty ze stran něco nad 5 %. Pokud si to přeložíme, tak ČRo říká, že pozve toho, kdo dostane alespoň tak 6.2 %. Dle jejich výpočtu to vypadá, že zvou toho, kdo dostane 6.5 %. Dle mého výpočtu a dle toho, co říkají, tak by měly zvát až toho, kdo dostane 6.6 %. To není takový rozdíl, pokud zrovna nejste lídr strany s odhadem 6.4 %.

  • Nereportuje se non-response (lidé, kteří se prostě odmítli s průzkumníky bavit). To, zcela tipuji, může být 50 % a rozhodně nejde o reprezentativních 50 % (může jít o lidi více nedůvěřivé a spíše volící stranu X). Pokud se podíváte na průzkumy před pražským metrem, tak je to klidně 90 %. Tady je samozřejmě další možný podstatný zdroj chyby.

  • Ze zkušenosti víme, že ty chyby modelů (i u Factum) jsou daleko větší než jen reportované statistické. Vizte volby 2010, kde u Factum nesedí výsledky ČSSD, TOP 09, SPOZ. Opět o tom ČRo nemluví.

  • Je samozřejmě sporné, pokud si ČRo u takto důležitých věcí na firmě nevymíní, že kompletní metodika musí být veřejná (vizte "know how, co zásadně nesdělujeme"), podobné jako s daty. Nelze zapomínat, že průzkumy (a samotné pozvání do debaty) nejen ("nějak") zobrazují veřejné mínění, ale také ho tvoří.


Optimistický závěr


Ale zakončeme optimisticky. Člen vedení ČRo (ze záznamu není poznat, kdo) včera řekl: Já jsem také rád, že se o to veřejnost zajímá. Já si také myslím, že je třeba v tomto šířit osvětu a šířit vlastně i gramotnost směrem k tomu jak veřejnost přijímá takové průzkumy veřejného mínění […]

Takže ano, i já jsem rád, že ČRo je rád, že se o to zajímáme. Takže prosím prosím, Český rozhlase, šiřte tu osvětu dál, jste bezpochyby na dobré cestě, už jenom kousek. Ještě mi ukažte, jak to (zase) nechápu, a zveřejněte:
  • přesně postup, jak k těm číslům docházíte z dat (pletu se tu někde zásadně?)

  • zdrojová data průzkumů, ať si to přepočtem a uvidíme, že nás za ten nos netaháte.


Česká televize


Samozřejmě, ČT dělá pravděpodobně to samé. Ale reportuje ještě méně. A stálo to 2x tolik.

Blogeři abecedně

A Aktuálně.cz Blog · Atapana Mnislav Zelený B Baar Vladimír · Babka Michael · Balabán Miloš · Bartoníček Radek · Bartošek Jan · Bartošová Ela · Bavlšíková Adéla · Bečková Kateřina · Bednář Vojtěch · Bělobrádek Pavel · Beránek Jan · Berkovcová Jana · Bernard Josef · Berwid-Buquoy Jan · Bielinová Petra · Bína Jiří · Bízková Rut · Blaha Stanislav · Blažek Kamil · Bobek Miroslav · Boehmová Tereza · Brenna Yngvar · Bureš Radim · Bůžek Lukáš · Byčkov Semjon C Cerman Ivo · Cizinsky Ludvik Č Černoušek Štěpán · Česko Chytré · Čipera Erik · Čtenářův blog D David Jiří · Davis Magdalena · Dienstbier Jiří · Dlabajová Martina · Dolejš Jiří · Dostál Ondřej · Dudák Vladislav · Duka Dominik · Duong Nguyen Thi Thuy · Dvořák Jan · Dvořák Petr · Dvořáková Vladimíra E Elfmark František F Fafejtová Klára · Fajt Jiří · Fendrych Martin · Fiala Petr · Fibigerová Markéta · Fischer Pavel G Gálik Stanislav · Gargulák Karel · Geislerová Ester · Girsa Václav · Glanc Tomáš · Goláň Tomáš · Gregorová Markéta · Groman Martin H Hájek Jan · Hála Martin · Halík Tomáš · Hamáček Jan · Hampl Václav · Hamplová Jana · Hapala Jiří · Hasenkopf Pavel · Hastík František · Havel Petr · Heller Šimon · Herman Daniel · Heroldová Martina · Hilšer Marek · Hladík Petr · Hlaváček Petr · Hlubučková Andrea · Hnízdil Jan · Hokovský Radko · Holásková Kamila · Holmerová Iva · Honzák Radkin · Horáková Adéla · Horký Petr · Hořejš Nikola · Hořejší Václav · Hrabálek Alexandr · Hradilková Jana · Hrstka Filip · Hřib Zdeněk · Hubálková Pavla · Hubinger Václav · Hülle Tomáš · Hušek Radek · Hvížďala Karel CH Charanzová Dita · Chlup Radek · Chromý Heřman · Chýla Jiří · Chytil Ondřej J Janda Jakub · Janeček Karel · Janeček Vít · Janečková Tereza · Janyška Petr · Jelínková Michaela Mlíčková · Jourová Věra · Just Jiří · Just Vladimír K Kaláb Tomáš · Kania Ondřej · Karfík Filip · Karlický Josef · Klan Petr · Klepárník  Vít · Klíma Pavel · Klíma Vít · Klimeš David · Klusoň Jan · Kňapová Kateřina · Kocián Antonín · Kohoutová Růžena · Koch Paul Vincent · Kolaja Marcel · Kolářová Marie · Kolínská Petra · Kolovratník Martin · Konrádová Kateřina · Kopeček Lubomír · Kostlán František · Kotišová Miluš · Koudelka Zdeněk · Koutská Petra Schwarz · Kozák Kryštof · Krafl Martin · Krása Václav · Kraus Ivan · Kroupová Johana · Křeček Stanislav · Kubr Milan · Kučera Josef · Kučera Vladimír · Kučerová Karolína · Kuchař Jakub · Kuchař Jaroslav · Kukal Petr · Kupka Martin · Kuras Benjamin · Kutílek Petr · Kužílek Oldřich · Kyselý Ondřej L Laně Tomáš · Linhart Zbyněk · Lipavský Jan · Lipold Jan · Lomová Olga M Máca Roman · Mahdalová Eva · Máchalová Jana · Maláčová Jana · Málková Ivana · Marvanová Hana · Mašát Martin · Měska Jiří · Metelka Ladislav · Michálek Libor · Miller Robert · Minář Mikuláš · Minařík Petr · Mittner Jiří · Moore Markéta · Mrkvička Jan · Müller Zdeněk · Mundier Milan · Münich Daniel N Nacher Patrik · Nachtigallová Mariana Novotná · Návrat Petr · Navrátil Marek · Němec Václav · Nerudová Danuše · Nerušil Josef · Niedermayer Luděk · Nosková Věra · Nouzová Pavlína · Nováčková Jana · Novák Aleš · Novotný Martin · Novotný Vít · Nožička Josef O Obluk Karel · Ocelák Radek · Oláh Michal · Ouhel Tomáš · Oujezdská Marie · Outlý Jan P Pačes Václav · Palik Michal · Paroubek Jiří · Pavel Petr · Pavelka Zdenko · Payne Jan · Payne Petr Pazdera · Pehe Jiří · Peksa Mikuláš · Pelda Zdeněk · Petrák Milán · Petříček Tomáš · Petříčková Iva · Pfeffer Vladimír · Pfeiler Tomáš · Pícha Vladimír · Pilip Ivan · Pitek Daniel · Pixová Michaela · Plaček Jan · Podzimek Jan · Pohled zblízka · Polách Kamil · Polčák Stanislav · Potměšilová Hana · Pražskej blog · Prouza Tomáš R Rabas Přemysl · Rajmon David · Rakušan Vít · Ráž Roman · Redakce Aktuálně.cz  · Reiner Martin · Richterová Olga · Robejšek Petr · Ruščák Andrej · Rydzyk Pavel · Rychlík Jan Ř Řebíková Barbora · Řeháčková Karolína Avivi · Říha Miloš · Řízek Tomáš S Sedlák Martin · Seitlová Jitka · Schneider Ondřej · Schwarzenberg Karel · Sirový Michal · Skalíková Lucie · Skuhrovec Jiří · Sládek Jan · Sláma Bohumil · Slavíček Jan · Slejška Zdeněk · Slimáková Margit · Smoljak David · Smutný Pavel · Sobíšek Pavel · Sokačová Linda · Soukal Josef · Soukup Ondřej · Sportbar · Staněk Antonín · Stanoev Martin · Stehlík Michal · Stehlíková Džamila · Stránský Martin Jan · Strmiska Jan · Stulík David · Svárovský Martin · Svoboda Cyril · Svoboda Jiří · Svoboda Pavel · Sýkora Filip · Syrovátka Jonáš Š Šebek Tomáš · Šefrnová Tereza · Šimáček Martin · Šimková Karolína · Šindelář Pavel · Šípová Adéla · Šlechtová Karla · Šmíd Milan · Šojdrová Michaela · Šoltés Michal · Špalková Veronika Krátká · Špinka Filip · Špok Dalibor · Šteffl Ondřej · Štěpán Martin · Štěpánek Pavel · Štern Ivan · Štern Jan · Štětka Václav · Štrobl Daniel T T. Tereza · Táborský Adam · Tejkalová N. Alice · Telička Pavel · Titěrová Kristýna · Tolasz Radim · Tománek Jan · Tomčiak Boris · Tomek Prokop · Tomský Alexander · Trantina Pavel · Tůma Petr · Turek Jan U Uhl Petr · Urban Jan V Vacková Pavla · Václav Petr · Vaculík Jan · Vácha Marek · Valdrová Jana · Vančurová Martina · Vavruška Dalibor · Věchet Martin Geronimo · Vendlová Veronika · Vhrsti · Vích Tomáš · Vlach Robert · Vodrážka Mirek · Vojtěch Adam · Vojtková Michaela Trtíková · Vostrá Denisa · Výborný Marek · Vyskočil František W Walek Czeslaw · Wichterle Kamil · Wirthová Jitka · Witassek Libor Z Zádrapa Lukáš · Zajíček Zdeněk · Zaorálek Lubomír · Závodský Ondřej · Zelený Milan · Zeman Václav · Zima Tomáš · Zlatuška Jiří · Zouzalík Marek Ž Žák Miroslav · Žák Václav · Žantovský Michael · Žantovský Petr Ostatní Dlouhodobě neaktivní blogy