Kvalita kontroly podpisů na prezidenta nebyla 100%
Počty archů s chybami nejen u T.Okamury v 1. a 2. vzorku jsou statisticky významně odlišné. Nejvyšší správní soud ten problém nepochopil. Co na to Ústavní?
Nejvyšší správní soud (NSS) neuznal zjevně nesmyslný výklad MV ČR o sčítání procent ve vzorcích podpisů kandidátů na prezidenta. Ale to je tak vše, za co jej lze pochválit (alespoň ty 4 soudce, kteří nakonec rozhodli - v opozičním stanovisku 3 soudců bylo na pochvalu více věcí). Nicméně p. Okamura již avizoval, že se obrátí na Ústavní soud. Proto stojí za to se podívat, s čím by tam také mohl vyrazit.
V postupu MV ČR jsou nyní známy minimálně tyto zásadní problémy:
- archy, které prý byly náhodně vybrány, byly MV ČR ve skutečnosti svévolně přerovnány
- nebyl proveden náhodný výběr podpisů, ale celých archů
- nebyla zajištěna neměnná kvalita kontroly podpisů
MV ČR tvrdilo, že vybralo archy náhodně. Pánové Pecina a Meier ukázali, že tomu tak nebylo. T.Pecina: "Ministerstvo vnitra nedodrželo algorithmus, který v rozhodnutích popsalo. […] soubory kandidátů, s výjimkou petičních archů Jany Bobošíkové, zcela svévolně a potenciálně i manipulativně přetřídilo." (celý článek)
Připomeňme si, že MV ČR nedodrželo zákon a namísto náhodného výběru jednotlivých podpisů udělalo náhodný výběr celých archů (a ani ten nakonec nebyl náhodný, jak je uvedeno výše). Jak moc to ovlivní přesnost odhadu?
Nasimuloval jsem situaci s chybovostí archů u p. Okamury. Abychom dosáhli stejné přesnosti výsledku jako MV ČR, kteří kontrolovali 8500 lidí (ale vždy celý arch), stačil by zhruba náhodný výběr (ale skutečný) 2000 lidí. Tedy MV ČR - vždyť i ten zákon připravilo opět MV ČR - v každém vzorku kontrolovali 6500 lidí zbytečně. Zde je dobré připomenout, že kontrola u jednoho kandidáta (z těch, kde se skutečně kontrolovalo) stála zhruba 1 milion Kč (zakázka přidělena firmě Hewlett-Packard bez výběrového řízení, jak jinak).
Bohužel, soudci NSS Šimíček, Camrda, Kühn a Průcha asi statistice nerozumějí (a nedokáží se zeptat někoho, kdo tomu rozumí). Protože píší: „Hovoří-li předmětné ustanovení o kontrole „namátkově na náhodně vybraném vzorku údajů u 8.500 občanů“, lze tím rozumět i výběr vždy všech údajů na jednom archu.“
Takže jestli je v zákoně napsáno 8500, tak pro soudce z NSS je to to samé, jako 2000.
Když jsem psal v noci po zveřejnění vyřazení tria Bobošíková, Okamura, Dlouhý, že rozdílnost v chybovosti vzorků je extrémní a nemohla vzniknout náhodou, stále zde byla možná vysvětlení – výběr celých archů namísto jednotlivých podpisů a duplicity. Nicméně díky detailní databázi, co sestavil p. Pecina (jméno:guest,heslo:paragraphos), se dají tyto vlivy odfiltrovat. A zjistíme, že stále to nesedí.
Pokud se podíváme na „chyby“ detailně, zjistíme, že většina je ve 2 kategoriích – uvedeny nesprávné údaje a občan v evidenci nenalezen, ostatních je výrazně méně a to včetně duplicit (krom pí. Bobošíkové, ta měla duplicit hodně), např. T. Okamura měl z 1951 „chyb“ ve 2. vzorku jen 55 duplicit.
Můžeme tedy pro každý typ chyby hledat, na kolika arších se vyskytuje a zda je počet archů s touto chybou přibližně stejný v obou vzorcích. Pokud by kontroly probíhaly stále stejně, musely by tyto počty být podobné (jen v rámci statistické chyby).
Celkem tedy u 5 z 16 případů se statisticky významně liší počty archů s hlavními chybami mezi 1. a 2. vzorkem na hladině 95 %, u 4 z 16 dokonce na hladině 99 %.
U chyby uvedeny nesprávné údaje je další zarážející věc, že 7 z 8 kandidátů má u 2. vzorku větší počet archů s „chybami“ než u 1. vzorku (a u poslední kandidátky je ten počet shodný).
Celkem je to samozřejmě zcela mimo jakékoliv reálné očekávání.
Takže je zřejmé, že MV ČR nedokázalo zajistit neměnnou kvalitu posuzování a někdy nutně byla horší. Obzvláště pro problém uvedeny nesprávné údaje, kde v 2. vzorcích bylo výrazně více archů s touto chybou. Otázka potom ale také je, zda MV ČR (či jím objednaná firma Hewlett-Packard) vůbec bylo schopno zajistit dostatečnou kvalitu alespoň z části.
Zde je třeba si totiž uvědomit jednu důležitou věc, která není mnoha lidem úplně zřejmá: MV ČR (=„firma + brigádníci“) většinou dohledávali lidi z archů, zda existují, bydlí na dané adrese, apod. A ne, že by naopak hledali chyby na předložených arších. Tedy dobře pracující brigádník byl kandidátům prospěšný, neboť dohledal třeba i těžší případy ('Nové Město'- které? na Moravě? nad Metují? v Praze?). Ale i ten nejlépe pracující brigádník nemusel dohledat vše. Tedy (teoretická) kvalitní práce MV ČR byla ve prospěch kandidátů, nekvalitní v neprospěch.
Výpočty jsou zde
Pokud u Ústavního soudu jsou soudci, kteří – na rozdíl od kvarteta Šimíček, Camrda, Kühn a Průcha z NSS – dokáží pochopit závěry statistické či technické analýzy, může to být ještě zajímavé rozhodování, až se na ně p. Okamura obrátí.
Protože postup MV ČR rozhodně nebyl 100%, „transparentní a podrobně zdokumentovaný“, jak se nás snaží přesvědčit kvarteto soudců z NSS.
Sledovat @skopmichal
Nejvyšší správní soud (NSS) neuznal zjevně nesmyslný výklad MV ČR o sčítání procent ve vzorcích podpisů kandidátů na prezidenta. Ale to je tak vše, za co jej lze pochválit (alespoň ty 4 soudce, kteří nakonec rozhodli - v opozičním stanovisku 3 soudců bylo na pochvalu více věcí). Nicméně p. Okamura již avizoval, že se obrátí na Ústavní soud. Proto stojí za to se podívat, s čím by tam také mohl vyrazit.
V postupu MV ČR jsou nyní známy minimálně tyto zásadní problémy:
- archy, které prý byly náhodně vybrány, byly MV ČR ve skutečnosti svévolně přerovnány
- nebyl proveden náhodný výběr podpisů, ale celých archů
- nebyla zajištěna neměnná kvalita kontroly podpisů
Archy byly přerovnány
MV ČR tvrdilo, že vybralo archy náhodně. Pánové Pecina a Meier ukázali, že tomu tak nebylo. T.Pecina: "Ministerstvo vnitra nedodrželo algorithmus, který v rozhodnutích popsalo. […] soubory kandidátů, s výjimkou petičních archů Jany Bobošíkové, zcela svévolně a potenciálně i manipulativně přetřídilo." (celý článek)
8500 = 2000 aneb náhodný výběr po arších
Připomeňme si, že MV ČR nedodrželo zákon a namísto náhodného výběru jednotlivých podpisů udělalo náhodný výběr celých archů (a ani ten nakonec nebyl náhodný, jak je uvedeno výše). Jak moc to ovlivní přesnost odhadu?
Nasimuloval jsem situaci s chybovostí archů u p. Okamury. Abychom dosáhli stejné přesnosti výsledku jako MV ČR, kteří kontrolovali 8500 lidí (ale vždy celý arch), stačil by zhruba náhodný výběr (ale skutečný) 2000 lidí. Tedy MV ČR - vždyť i ten zákon připravilo opět MV ČR - v každém vzorku kontrolovali 6500 lidí zbytečně. Zde je dobré připomenout, že kontrola u jednoho kandidáta (z těch, kde se skutečně kontrolovalo) stála zhruba 1 milion Kč (zakázka přidělena firmě Hewlett-Packard bez výběrového řízení, jak jinak).
Bohužel, soudci NSS Šimíček, Camrda, Kühn a Průcha asi statistice nerozumějí (a nedokáží se zeptat někoho, kdo tomu rozumí). Protože píší: „Hovoří-li předmětné ustanovení o kontrole „namátkově na náhodně vybraném vzorku údajů u 8.500 občanů“, lze tím rozumět i výběr vždy všech údajů na jednom archu.“
Takže jestli je v zákoně napsáno 8500, tak pro soudce z NSS je to to samé, jako 2000.
Nestejná kvalita
Když jsem psal v noci po zveřejnění vyřazení tria Bobošíková, Okamura, Dlouhý, že rozdílnost v chybovosti vzorků je extrémní a nemohla vzniknout náhodou, stále zde byla možná vysvětlení – výběr celých archů namísto jednotlivých podpisů a duplicity. Nicméně díky detailní databázi, co sestavil p. Pecina (jméno:guest,heslo:paragraphos), se dají tyto vlivy odfiltrovat. A zjistíme, že stále to nesedí.
Duplicity za to nemohou
Pokud se podíváme na „chyby“ detailně, zjistíme, že většina je ve 2 kategoriích – uvedeny nesprávné údaje a občan v evidenci nenalezen, ostatních je výrazně méně a to včetně duplicit (krom pí. Bobošíkové, ta měla duplicit hodně), např. T. Okamura měl z 1951 „chyb“ ve 2. vzorku jen 55 duplicit.
Můžeme tedy pro každý typ chyby hledat, na kolika arších se vyskytuje a zda je počet archů s touto chybou přibližně stejný v obou vzorcích. Pokud by kontroly probíhaly stále stejně, musely by tyto počty být podobné (jen v rámci statistické chyby).
- - U 4 kandidátů z 8 se statisticky významně liší počty archů s chybou uvedeny nesprávné údaje.
- - U 1 kandidáta z 8 se statisticky významně liší počty archů s chybou občan v evidenci nenalezen.
Celkem tedy u 5 z 16 případů se statisticky významně liší počty archů s hlavními chybami mezi 1. a 2. vzorkem na hladině 95 %, u 4 z 16 dokonce na hladině 99 %.
U chyby uvedeny nesprávné údaje je další zarážející věc, že 7 z 8 kandidátů má u 2. vzorku větší počet archů s „chybami“ než u 1. vzorku (a u poslední kandidátky je ten počet shodný).
Celkem je to samozřejmě zcela mimo jakékoliv reálné očekávání.
Takže je zřejmé, že MV ČR nedokázalo zajistit neměnnou kvalitu posuzování a někdy nutně byla horší. Obzvláště pro problém uvedeny nesprávné údaje, kde v 2. vzorcích bylo výrazně více archů s touto chybou. Otázka potom ale také je, zda MV ČR (či jím objednaná firma Hewlett-Packard) vůbec bylo schopno zajistit dostatečnou kvalitu alespoň z části.
Zde je třeba si totiž uvědomit jednu důležitou věc, která není mnoha lidem úplně zřejmá: MV ČR (=„firma + brigádníci“) většinou dohledávali lidi z archů, zda existují, bydlí na dané adrese, apod. A ne, že by naopak hledali chyby na předložených arších. Tedy dobře pracující brigádník byl kandidátům prospěšný, neboť dohledal třeba i těžší případy ('Nové Město'- které? na Moravě? nad Metují? v Praze?). Ale i ten nejlépe pracující brigádník nemusel dohledat vše. Tedy (teoretická) kvalitní práce MV ČR byla ve prospěch kandidátů, nekvalitní v neprospěch.
Výpočty jsou zde
Co na to Ústavní soud?
Pokud u Ústavního soudu jsou soudci, kteří – na rozdíl od kvarteta Šimíček, Camrda, Kühn a Průcha z NSS – dokáží pochopit závěry statistické či technické analýzy, může to být ještě zajímavé rozhodování, až se na ně p. Okamura obrátí.
Protože postup MV ČR rozhodně nebyl 100%, „transparentní a podrobně zdokumentovaný“, jak se nás snaží přesvědčit kvarteto soudců z NSS.
Sledovat @skopmichal