Představte si, že jste na pracovním pohovoru. Po zádech vám stéká pot a snažíte se udělat co nejlepší dojem. Mezitím, zatímco odpovídáte na otázky, systém umělé inteligence skenuje váš obličej. Ten hodnotí vaši nervozitu, empatii a spolehlivost na základě výrazu ve tváři nebo intenzity hlasu. Vy říkáte pravdu, jenom se v té situaci zkrátka cítíte pod tlakem. Systém ovšem vyhodnotí, že jste ve stresu z údajně lživé odpovědi.


Může to znít jako sci-fi, ale technologie umělé inteligence a strojového učení jsou stále častěji využívány a často bez našeho vědomí nebo souhlasu. Mnohdy jde o využití velmi prospěšné, některá využití umělé inteligence a strojového využití jsou však nebezpečná. Právě proto bojuji za zákaz využívání systému detekce emocí s výjimkou výzkumných a zdravotnických účelů.

Úsměv neznamená vždy štěstí a spokojenost

Systémy na rozpoznání emocí údajně zvládnou podle obličejové mimiky a fyziologických procesů detekovat, jak se zrovna cítíte. Každý to ale znáte, ne vždy se tváříme zrovna podle našich reálných pocitů.

Za rozvojem těchto technologií se ve skutečnosti skrývá především rozvíjející se miliardový byznys, jehož cílem je používat umělou inteligenci a strojové učení k detekci emocí z výrazů obličeje. Jejich používání je ovšem značně kontroverzní a výsledky mají vysokou chybovost a nefungují správně.

Pomáhá rozpoznávat pocity lidem s autismem

Jednou z oblastí, kde tyto systémy mají obrovský přínos, je zdravotnictví. Mohou představovat důležitou pomůcku především pro lidi s poruchou autistického spektra. Systém na rozpoznávání emocí byl například integrován do brýlí, které dětem s autismem pomáhají číst mimiku ostatních lidí. Ač stojím za zákazem detekce emocí, výjimku by měly dostat ty, které slouží pro zdravotnické a výzkumné účely.

Detekce emocí do škol nepatří

Jednou z hlavních oblastí, kde by nespolehlivé systémy mohly způsobit více škody než užitku, je oblast vzdělávání. Vezměme si příklad dívčí střední školy z Hong Kongu. Většinu času po dobu pandemie se studenti vzdělávali na dálku z domova. Ale narozdíl od většiny dětí po celém světě, které byly během pandemie nuceny k domácímu vzdělávání, byli tito studenti sledováni, jak sedí za svými psacími stoly. Prostřednictvím kamer jejich počítače zkoumaly právě výrazy obličejů každého dítěte.

Právě software na bázi umělé inteligence 4 Little Trees tvrdí, že dokáže číst emoce dětí, zatímco se učí. Cílem programu bylo pomoci učitelům učinit distanční výuku interaktivnější a personalizovanější tím, že bude reagovat na reakce jednotlivých studentů v reálném čase.

Algoritmus softwaru funguje tak, že měří mikro pohyby svalů na tvářích dívek a pokouší se identifikovat emoce, jako je štěstí, smutek, hněv, překvapení a strach. Podle společnosti algoritmy generují podrobné zprávy o emočním stavu každého studenta pro učitele a mohou také měřit motivaci a zaměření. Upozorní studenty v momentě, kdy ztrácí potřebnou pozornost.

Firma využívá také jeden z nových algoritmů, o kterých jeho tvůrci tvrdí, že dokáže rozpoznat lidské emoce a stav mysli, jako je také únava, stres a úzkost, pomocí analýzy výrazu obličeje, mikro gest, sledování očí a tónů hlasu.

Jde o miliardový byznys

4 Little Trees ale nejsou jediní. Stovky firem po celém světě pracují na technologii detekce emocí ve snaze naučit počítače předvídat lidské chování. Tyto systémy pronikly i do veřejného prostoru. Policie v Lincolnshire ve Velké Británii je používala k identifikaci podezřelých lidí. Snad nejhorším případem je čínský Sin-ťiang, kde je zadržováno tisíce Ujgurů. V roce 2019 byla technologie nasazena převážně na celních úřadech k „rychlé identifikaci podezřelých z trestné činnosti analýzou jejich duševního stavu“.

Bez ohledu na aplikaci je cíl stejný: učinit lidi méně nevyzpytatelnými a snáze předvídatelnými

Bohužel je jen málo vědeckých důkazů, že tyto systémy fungují správně. Výzkum těchto algoritmů naznačuje, že i když by mohly být schopny dekódovat výrazy obličeje, nemusí to nutně znamenat, co člověk skutečně cítí nebo si myslí, nebo co plánuje dělat dál.

Zároveň antropologický výzkum ukázal, že emoce se v různých kulturách a společnostech vyjadřují odlišně. Není tudíž možné s jistotou usuzovat na štěstí z úsměvu nebo hněv ze zamračeného výrazu, jak se o to většina současných technologií snaží.

Problém je v tom, že to vede k chybám a neobjektivnímu rozhodování ve vysoce citlivých oblastech, jako je vzdělávání, policejní práce, nábor nových zaměstnanců či na hraničních kontrolách. Chyby mohou zásadně ovlivnit lidské životy, a proto by tyto systémy měly být až na výjimky zakázány. Zároveň v mnoha případech neznáme úplný rozsah toho, kolik společností tyto nástroje používá, a jakým způsobem, protože jsou často používány nevědomky nebo bez souhlasu zaměstnanců.

V Evropském parlamentu momentálně pracuji na legislativě nastavující pravidla pro využívání umělé inteligence. Jednou z mých priorit je právě prosazení zákazu detekci emocí. Evropští občané musí být legislativně chráněni a nesmíme dovolit, aby byli sledováni a analyzováni.