Kroniky AI Aktu: Červené čiary (časť 1)

V našich predchádzajúcich blogoch sme načrtli všeobecné pozadie a filozofiu aktu o umelej inteligencii Európskej únie (AI Akt, AIA) a jeho pôsobnosť. Ako sme už spomínali, AI Akt je založený na analýze rizík pre zdravie, bezpečnosť a základné práva a slobody, ktoré vznikajú z nasadenia a používania systémov umelej inteligencie. Na vrchole regulačnej pyramídy stoja zakázané systémy umelej inteligencie v EÚ – zakázané praktiky. Tento blog sa zaoberá otázkou, čo je zakázané a z akého dôvodu.

Pri rozhodovaní o tom, čo zakázať a čo nie, má zákonodarca dve možnosti. Môže stanoviť požiadavky na posúdenie, kedy by mal byť systém umelej inteligencie zakázaný, napríklad systémy, ktoré majú škodlivé účinky na základné práva a slobody alebo zahŕňajú podprahovú manipuláciu osôb. Alternatívne môže zákonodarca poskytnúť zoznam systémov umelej inteligencie (alebo ich aplikácií), ktoré sú zakázané. A práve tento prístup bol zvolený v AI Act.

Zoznam sa nachádza v článku 5 a obsahuje 7 výslovne uvedených zakázaných praktík a jedno obmedzené použitie – použitie systémov na priamu diaľkovú biometrickú identifikáciu v reálnom čase na verejne prístupných miestach na účely presadzovania práva. Posúdenie vplyvu (Impact Assessment), ktoré sprevádza pôvodný návrh AIA, uvádza, že keby tieto systémy umelej inteligencie neboli zakázané, boli by v rozpore s hodnotami EÚ, ako sú demokracia, sloboda a ľudská dôstojnosť, a porušovali by základné práva vrátane ochrany súkromia a ochrany spotrebiteľa.

Prvé dva prípady zakázaných praktík sa týkajú používania systémov umelej inteligencie, ktoré využívajú podprahové techniky, manipulatívne techniky alebo zneužívajú zraniteľnosti jednotlivcov či skupín osôb.

AIA zakazuje:

Kľúčom k uplatneniu tohto zákazu je, čo predstavuje podprahovú techniku presahujúcu vedomie osoby alebo úmyselne manipulatívnu či klamlivú techniku. Tieto pojmy, nie sú v AIA definované, čo nie je prekvapujúce. Podľa odporúčaní Rady Európy v tomto kontexte je potrebné venovať osobitnú pozornosť schopnosti systémov umelej inteligencie využívať osobné a neosobné údaje na klasifikáciu a mikro-cielenie osôb, identifikáciu individuálnych zraniteľností a zneužívanie presných prediktívnych poznatkov, ako aj na pretvorenie spoločenského prostredia na dosahovanie špecifických cieľov a súkromných záujmov. Podľa Posúdenia vplyvu je tento zákaz odôvodnený rastúcou silou algoritmov, ktoré umožňujú podprahovým spôsobom ovplyvňovať ľudské voľby a dôležité rozhodnutia, čím zasahujú do ľudskej autonómie a princípu osobnej autonómie.

Podľa znenia zákazu je na jeho uplatnenie postačujúce preukázať „účinky podstatného skreslenia správania osoby alebo skupiny osôb.“ Aby bol systém umelej inteligencie klasifikovaný ako zakázaný, musel by oslabiť schopnosť jednotlivca prijať informované rozhodnutie a v dôsledku toho (s primeranou pravdepodobnosťou) spôsobiť značnú ujmu. Čo presne predstavuje značnú ujmu, však nie je právne definované a otvára priestor pre rôzne výklady. Ako dôkazy na podporu tohto zákazu zákonodarca uvádza prípady manipulatívnych digitálnych asistentov. Tento zákaz sa nevzťahuje na lekársku liečbu, ako je liečba duševných chorôb alebo fyzickú rehabilitáciu, za podmienky, že tieto aktivity sú vykonávané v súlade s platnými právnymi predpismi a medicínskymi normami, napríklad s výslovným súhlasom dotknutých osôb alebo ich zákonných zástupcov. Bežné legitímne obchodné praktiky, napríklad v oblasti reklamy, by nemali spadať pod tento zákaz.

AIA v tejto kategórií taktiež zakazuje:

Druhý zákaz sa týka zraniteľných charakteristík niektorých osôb vrátane detí, starších, ľudí so zdravotným postihnutím alebo ľudí so špecifickými sociálnymi či ekonomickými charakteristikami, ktoré ich pravdepodobne robia náchylnejšími na zneužívanie (ľudia žijúci v extrémnej chudobe, etnické alebo náboženské menšiny). Aj keď sa môže zdať, že rozsah tohto zákazu sa v niektorých prípadoch prekrýva s predchádzajúcim zákazom, zameriava sa na praktiky, ktoré nevyužívajú podprahové alebo podobné techniky, ale zneužívajú oslabenú schopnosť rozhodovania určitých osôb. Tento zákaz je v súlade s viacerými medzinárodnými odporúčaniami a zahŕňa situácie, ako napríklad využívanie aplikácií s umelou inteligenciou, ktoré obsahujú citlivé súkromné informácie, alebo uzatváranie používateľov do filtračných bublín.

Ďalší zákaz sa týka sociálneho skórovania a prediktívneho policajného sledovania. AI Akt zakazuje:

Tento zákaz sa vzťahuje na verejné aj súkromné subjekty a pripomína notoricky známy systém sociálneho skórovania, ktorý bol testovaný v niektorých čínskych regiónoch. Tento zákaz je založený na odôvodnení, že masové skórovanie a hodnotenie občanov by nespravodlivo obmedzovalo základné práva jednotlivcov a bolo by v rozpore s hodnotami demokracie, slobody a princípmi rovnakého zaobchádzania pred zákonom a rešpektu k ľudskej dôstojnosti. Je dôležité poznamenať, že zákaz sa vzťahuje aj na „odvodené“ (inferred) charakteristiky, ktoré nie sú priamo pozorované, ale sú dedukované z dostupných údajov prostredníctvom analýzy alebo modelovania, čo predstavuje problémy z hľadiska ochrany súkromia, spravodlivosti a presnosti.

V ďalšej časti sa podrobnejšie pozrieme na zostávajúce zakázané praktiky, vrátane prediktívneho policajného sledovania, extrakcie podôb tváre, odvodzovania emócií a využívania biometrie.