Jak byste se chovali, kdybyste věděli, že vás zrovna může sledovat policista? A co takhle kdyby každý váš krok sledovalo policistů tisíc? S nástupem umělé inteligence vstupujeme do nové éry šmírování. A je třeba se na to připravit.

Zavedení umělé inteligence je ekvivalentem takové změny v moderním sledování (nebo jak jí říkám raději, šmírování, neboť „sleduje“ se např. seriál, lidé se „šmírují“ s cílem získat o nich informace a využít je proti nim).

Umělou inteligencí se rozumí napodobování lidské inteligence v počítačích určených k provádění úkolů, které obvykle vyžadují lidské kognitivní schopnosti. Tyto úkoly zahrnují učení se ze zkušeností, rozpoznávání vzorců, rozhodování a přizpůsobování se novým situacím.



AI v chládku
Dobrým příkladem je vězení, místo, kde je hromada lidí pod neustálou kontrolou. První moderní věznice byly navrženy tak, aby vždy několik málo dozorců mělo přehled o velkém počtu vězňů, aniž by to vězni věděli. Pro efektivní provoz tehdejších vězeňských systémů to bylo nezbytné. Právě v tomto extrémním prostředí je poučné sledovat, jak moc takovou práci usnadnil příchod počítačů a videokamer.

Umělá inteligence se v této souvislosti často používá jako obecný pojem. V kontextu tzv. surveillance je AI ekvivalentem milionů očí a mozků, které v reálném čase sledují každého člověka na kameře, filtrují podezřelé nebo nestandardní chování a předkládají je policistům (stále z masa a kostí), kteří vyhodnocují další postup.

A to není jen tak. První kontrolku by měla rozsvítit ta neuvěřitelná nerovnováha: Tento systém poskytuje obrovskou výhodu tomu, kdo sleduje, a současně znemožňuje vyhnout se odhalení. A co je nejhorší, takový systém lze připojit de facto ke každé veřejné kameře a transformovat tak naše města na virtuální vězení s neustálým dohledem.

A to může vést k chybám. Nebo to k nim již vede. Své o tom ví jistý Afroameričan Robert Julian-Borchak Williams z amerického Michiganu, který musel kvůli chybnému rozpoznání obličeje strávit noc ve vězeňské cele, být podroben ponižování a zděšení jeho rodiny. Kdo byl viníkem? Jak za to má vyvodit zodpovědnost jakýsi algoritmus – vyhodíme ho z práce?

Udělejte cokoli je třeba!
Pokušení zavést takové systémy v našich městech vzplane pokaždé, když dojde například k hojně medializovanému teroristickému útoku. Veřejné mínění je bezprostředně po takových útocích velmi náchylné k náladám typu „udělej cokoli, co je nutné“, aby se zabránilo budoucí podobně traumatizující události.

Nejznámějším příkladem masivních nelegálních sledovacích programů po teroristických útocích je program vlády USA (proti vlastním i neamerickým občanům) po útocích z 11. září 2001, který odhalil whistleblower Edward Snowden. Do značné míry paradoxně po vzoru USA zavedl čínský autoritářský režim po několika teroristických útocích nožem stejně rozsáhlý systém sledování na bázi AI. V současné době prochází takovou transformací na stát s kompletním dohledem Francie. A mnoho menších členských států EU ji sleduje a následuje.

Pokud existuje technologie, která umožňuje špehovat a analyzovat chování každého občana, nechybí mnoho k tomu, aby se dařilo umlčet třeba i zákonodárce a politiky, kteří prosazují ochranu soukromí a varují před zneužitím podobných invazivních technologií.

Pokud máte tu smůlu, že žijete v diktatuře, jako je Čína, kde je ochrana soukromí a základních svobod slabá nebo vůbec žádná, zažíváte už dnes na vlastní kůži státní dohled poháněný umělou inteligencí v jeho plné síle. Koneckonců, vrcholový politik má dnes i v našich končinách jen malou šanci udržet se u moci, je-li považován za slabého v potírání zločinu či terorismu.

Jakmile jsou takové systémy jednou zavedeny, je téměř nemožné je znovu omezit. A tak se mnohdy otevřené společnosti, které si zakládají na presumpci neviny a právním státě, mění v tajné policejní státy, které vás jsou schopné odsoudit jako viníka, pokud náhodou bydlíte ve špatné čtvrti, pohybujete se geograficky blízko známých zločinců, nebo máte prostě jen špatnou kombinaci jména, věku, barvy pleti, genderu nebo národnosti.

Tvrdou realitou to je pro nevinné lidi jako Jasingjan Abdulgani, Mahire Nurmuhammad, Gulzar Seley. Oni a miliony jim podobných Ujgurů jsou vyslýcháni na ocelové židli se spoutanýma rukama a nohama. Jsou mučeni a nahráváni kamerou s vysokým rozlišením pomocí softwaru pro rozpoznávání emocí, který je schopen zachytit sebemenší pohyby svalů a odhalit domnělé lhaní.

„Analýza dat“
Moderní sledovací systémy poháněné umělou inteligencí často ani nevyžadují, abyste byli zaznamenáni při porušení zákona. Komerčně dostupné databáze s desítkami let používání sociálních médií, záznamy z kamer, údaje o poloze a obchodních transakcích každého občana EU umožňují umělé inteligenci mj. předvídat, zda je pravděpodobné, že se vzbouříte proti vládě, vyloupíte obchod nebo dokonce že přejdete ulici na červenou. Anebo že napíšete článek proti dohledu AI. Čínská diktatura tomu říká „sociální bodovací systém“, v EU tomu říkáme „analýza dat“.

Ve filmu Minority Report, který se odehrává ve futuristickém roce 2054, vystupuje speciální policejní tým s nadanými lidmi, kteří dokáží předvídat zločiny dříve, než k nim dojde. Tyto informace využívají k dopadení zločinců ještě předtím, než tyto zločiny stihnou spáchat. V dnešním světě policie využívá komerční umělou inteligenci se schopností zpracovávat a analyzovat údaje o minulých trestných činech, která odpovídá tomu, co by za normálních okolností potřebovaly miliony lidských policistů, aby předpověděli, kde a kdy by mohlo dojít k dalším trestným činům.

Dnes nepotřebujeme nadané jedince ani masivní investice jednotlivých policejních složek do superpočítačových kapacit. Neustávající technologický pokrok, snižování nákladů na výpočetní techniku a zvyšování výpočetní kapacity denně zvyšují schopnost takové prediktivní policejní práce. Prakticky každá vesnice či malé město v České republice by mohlo tyto schopnosti využít k předvídání a prevenci nejrůznějších malých i velkých trestných činů tím, že by zatýkalo nevinné osoby, které byly označeny jako pravděpodobní pachatelé trestné činnosti.

Na našich hranicích umožňuje dohled na bázi umělé inteligence rychlou a levnou identifikaci pomocí softwaru pro biometrické rozpoznávání. Nejznámější je rozpoznávání obličeje, ale stejně tak se používají znaky jako způsob chůze, hlas, řeč těla, dýchání nebo smích. Díky nahrávání každého žadatele o azyl, přistěhovalce nebo turisty na letištích, v přístavech nebo na silničních a vlakových přechodech jsou úřady schopny identifikovat jednotlivce a sledovat je všude, kam jdou.

Co s tím můžeme dělat my?
„Ale já jsem nikdy nepřešel ulici na červenou,“ řeknete si možná. Nebo jste se možná drželi dál od pokušení sociálních médií a používali aplikace, prohlížeče a hardware pro ochranu soukromí. Možná používáte hloupý telefon nebo nepoužíváte žádný telefon. Ani tudy nelze dost dobře utéct. Jakýkoli alternativní vzorec chování je sám o sobě automatickým systémem označen jako podezřelý soubor činností, které mohou oprávnit policejní prohlídku vašeho bytu nebo zmrazení vašeho bankovního účtu.

Jakmile vláda zavede systém založený z velké části na umělé inteligenci s ohromnou výpočetní kapacitou, ke změně cílové skupiny stačí jen pár kliknutí. Dodatečné náklady na špehování tisíců či statisíců lidí jsou přitom zanedbatelné. I proto k podobné realitě spolehlivě směřujeme.

Tyto systémy již fungují v místech, která nemají funkční parlamenty ani soudy, jako je mnoho afrických, arabských a asijských zemí, přičemž Čína je lídrem ve vytváření, testování a exportu plnohodnotných sledovacích systémů.

Problém, který popisuji, má velký politický rozměr, neboť jen na legislativní úrovni můžeme dojít nějakého řešení. Národní parlamenty i ten Evropský budou muset vytvořit kontrolní mechanismy a záruky a zakázat používání biometrického rozpoznávacího softwaru nebo vytváření rozsáhlých databází všech občanů s desetiletou platností.

Zákonodárci, kteří by takovým scénářům chtěli aktivně zabránit, by se bezpochyby stali terčem obviněni z příštího teroristického útoku nebo události s hromadným neštěstím. Jedno je z toho zřejmé: naše pozornost se nyní musí upřít na základní práva a instituce, které je prosazují a chrání. Jejich důležitost pro budoucnost (nejen) evropských demokratických systémů a svobodných občanů roste stejně rychle jako možnosti systémů umělé inteligence.


Další obsah hledejte na oficiálním webu kampaně Píše se to AI.