Tri prínosy vysvetliteľnej umelej inteligencie

Umelá inteligencia bude čoraz väčšmi zasahovať do našich životov. Veľa ľudí však umelej inteligencii nedôveruje a majú problém prenechať jej aj triviálne rozhodnutia. Jedným z dôvodov je, že rozhodnutia umelej inteligencie veľmi často nevieme vysvetliť, pretože komplexné modely sa správajú ako čierne skrinky.

Jednou z možností zvýšenia dôvery v umelú inteligenciu je, že ľudia budú schopní porozumieť, ako sa umelá inteligencia rozhoduje a prečo vykonáva svoje akcie. Aktuálne je AI pre širokú verejnosť ešte stále veľká neznáma, lepšia vysvetliteľnosť a transparentnosť modelov by však mohla výrazne zvýšiť akceptáciu umelej inteligencie. 

V druhej časti série článkov na tému vysvetliteľnej a transparentnej umelej inteligencie zistíte:

1. Zvýšenie dôveryhodnosti a akceptácie umelej inteligencie v spoločnosti

Umelá inteligencia ako taká a predpovede, ktoré s jej pomocou získame, budú v spoločnosti prirodzene viac akceptované, ak okrem samotného výsledku budeme vedieť povedať, ako sme k tomuto výsledku dospeli. Napríklad, banka na základe odporúčania umelej inteligencie neschváli mladému človeku úver. Bolo by namieste vedieť, aký bol dôvod takéhoto odporúčania, ktoré zrejme ovplyvnilo aj následné rozhodnutie pracovníka banky. Bolo to preto, lebo má klient malý príjem – a musí si teda nájsť lepšie platené zamestnanie či znížiť nároky? Alebo to bolo preto, že je zamestnaný príliš krátko a keď počká ešte niekoľko mesiacov, úver dostane? 

Už na tomto príklade vidno, že rozhodnutia umelej inteligencie môžu mať zásadný dopad na život človeka, čo iba zvýrazňuje význam interpretovateľnosti a vysvetliteľnosti umelej inteligencie.

2. Objavovanie nových znalostí v oblastiach, v ktorých máme už teraz veľa dát (napríklad fyzika, chémia)

Ak sa nám podarí zistiť, prečo sa v týchto oblastiach AI rozhodovala tak, ako sa rozhodla, môžeme objaviť vzťahy, ktoré sme dovtedy ako ľudia nevideli. Zatiaľ čo zvyčajne človek učí umelú inteligenciu robiť dobré rozhodnutia, môže sa stať, že umelá inteligencia dosiahne porovnateľné alebo aj lepšie výsledky ako človek, a vtedy je namieste spýtať sa – dospela umelá inteligencia k znalostiam, ktoré nám ako ľuďom unikali? Ide o akési reverzné inžinierstvo, kedy sa ako ľudia snažíme pochopiť, ako systém, ktorý funguje, vlastne funguje. 

Známy je príklad algoritmu AlphaGo¹. Algoritmus prišiel s vlastnými, dovtedy neznámymi stratégiami, vďaka ktorým ako prvý porazil ľudských šampiónov v hre Go. Čo ak by sme niečo také dokázali v medicíne? Čo ak by algoritmus v dátach objavil spojenia medzi chorobami a oblasťami či procesmi v ľudskom tele, ktoré boli doteraz nám ako ľuďom neznáme? Práve metódy vysvetliteľnosti môžu byť cestou k ich objaveniu.

3. Prieniky s etikou a odhaľovanie skreslení, predsudkov či zadných dvierok zakódovaných v modeloch umelej inteligencie

Najpoužívanejšie modely umelej inteligencie v súčasnosti v procese učenia využívajú príklady, ktoré im poskytol človek. Ak chceme napríklad vytvoriť model, ktorý bude simulovať diskutéra na sociálnej sieti Twitter, najprirodzenejší spôsob, ako to dosiahnuť, je “ukázať” modelu v procese učenia veľké množstvo reálnych konverzácii z Twitteru. 

Ako ale ukázal známy experiment, ktorý vykonala spoločnosť Microsoft², model sa z tweetov ľudských diskutérov nenaučil iba správne používať anglický jazyk a formulovať zmysluplné vety, no prebral od nich aj niečo navyše – skreslenia a predsudky. Chatbot Tay sa stal rasistom. 

Metódy vysvetliteľnosti môžu byť dôležitým nástrojom pri včasnom odhaľovaní skrytých predsudkov zakódovaných v modeli. Ak totiž vieme, na základe čoho sa model rozhoduje a aké znalosti sa naučil z trénovacích dát poskytnutých človekom, máme väčšiu šancu odhaliť podobné vady.

Doteraz sme hovorili o skresleniach a predsudkoch, ktoré sa do modelu preniesli nechcene. Aktuálnou témou je ale aj boj proti zámernému vloženiu tzv. zadných dvierok do modelu umelej inteligencie, vďaka ktorým môže útočník ovplyvniť správanie modelu. Napríklad, moderné vozidlá využívajú umelú inteligenciu na rozpoznanie dopravných značiek. Špeciálne v prípade autonómnych vozidiel ide o kritickú funkcionalitu – to, či je správne rozpoznaná značka STOP môže znamenať rozdiel medzi bezpečnou jazdou a autonehodou. 

Teraz si predstavte, že by v modeli, ktorý rozpoznáva značky, boli zakódované zadné dvierka. Také, vďaka ktorým stačí zmeniť drobný detail na dopravnej značke STOP (napríklad pridať na ňu do pravého horného rohu zelenú nálepku) a model by si zrazu takúto značku začal mýliť so značkou “Hlavná cesta”. Odhaliť takéto zadné dvierka vôbec nie je jednoduché, pretože model sa bude správať patologicky iba za veľmi špecifických podmienok. Vysvetliteľnosť a interpretovateľnosť majú potenciál pomôcť pri odhaľovaní takýchto cielených útokov. Ak by sme napríklad za použitia niektorej z metód vysvetliteľnosti zistili, že model sa priveľmi sústreďuje na pravý horný roh dopravnej značky STOP, môžeme model zrobustniť voči tejto zraniteľnosti.

Pri vysvetliteľnej umelej inteligencii je dôležité myslieť na to, pre koho je vysvetlenie určené. Úroveň miery, do akej sú model a jeho predikcie pochopiteľné pre ľudí, záleží vždy nakoniec aj od publika. Je iné vysvetľovať umelú inteligenciu vedcom a iné koncovým používateľom, napríklad ľuďom, ktorí si nainštalovali inteligentného asistenta v domácnosti. Preto by malo vysvetlenie a interpretácia brať do úvahy aj publikum a malo by mu byť takpovediac šité na mieru.

Toto je jeden z dôvodov, prečo neexistuje len jedna metóda vysvetliteľnosti, ktorú by sme mohli aplikovať v každom kontexte.

Príklad toho, ako môže rôzna forma podania tých istých informácií ovplyvniť ich pochopenie publikom, nám ponúka aj štúdia od autorov Hoffrage a Gigerenzer³. Jej cieľom bolo zistiť, či budú závery, ku ktorým dospejú lekári, rôzne, ak im budeme predkladať tie isté informácie v rôznych formách. Zmení sa podľa lekárov pravdepodobnosť, že má pacient chorobu, keď im budeme prezentovať údaje týkajúce sa pacientov rôznymi spôsobmi?

Otázka: Zlepší sa diagnostická inferencia, ak tie isté informácie odprezentujeme lekárom v rôznej forme?

Spôsob 1, pravdepodobná reprezentácia: “Pravdepodobnosť výskytu rakoviny prsníka u ženy vo veku 40 rokov, ktorá sa zúčastňuje na pravidelnom vyšetrení, je 1 %. Ak má žena rakovinu prsníka, je pravdepodobnosť 80 %, že bude mať pozitívny mamografický nález. Ak žena nemá rakovinu prsníka, je pravdepodobnosť 10 %, že bude mať pozitívny mamogram. Predstavte si ženu z tejto vekovej skupiny s pozitívnym mamografickým vyšetrením. Aká je pravdepodobnosť, že má skutočne rakovinu prsníka?”

Spôsob 2, prirodzené frekvencie: “Desať z každých 1 000 žien vo veku 40 rokov, ktoré sa zúčastňujú na pravidelnom vyšetrení, má rakovinu prsníka. Z týchto desiatich žien s rakovinou prsníka, bude mať osem žien pozitívny mamogram. Zo zvyšných 990 žien bez rakoviny prsníka bude mať 99 žien pozitívny mamogram. Predstavte si skupinu 40-ročných žien s pozitívnym mamografickým vyšetrením. Koľko z nich má skutočne rakovinu prsníka?”

V porovnaní s pravdepodobnostnou reprezentáciou, pri spôsobe podania informácie vo forme prirodzených frekvencií správnosť, s akou lekári odpovedali na otázku, koľko žien má v skutočnosti v modelovom príklade rakovinu prsníka,  vzrástla z 10% na 46%. Z toho môžeme usúdiť, že pre človeka je oveľa ľahšie pracovať s konkrétnymi číslami, ako s pravdepodobnosťou. Paradoxom je, že podľa autorov štúdie väčšina medicínskej literatúry z toho obdobia používala na vysvetlenie metódu pravdepodobnostnej reprezentácie. 

V druhej časti seriálu sme si povedali o troch dôležitých prínosoch vysvetliteľnej umelej inteligencie: 

Tiež sme si vysvetlili, prečo je nesmierne dôležité adekvátne nastaviť, ako budú predpovede AI  a ich vysvetlenia prezentované ľuďom. Spôsob podania informácie má obrovský vplyv na jej správne pochopenie. Pri vytváraní modelov a metód vysvetliteľnosti preto musíme myslieť na to, pre koho je vysvetlenie určené a či je vybraný spôsob prezentácie pochopiteľný pre publikum.

Ak sa chcete o tematike vysvetliteľnej umelej inteligencie dozvedieť viac, nenechajte si ujsť ďalšie časti seriálu. V tretej časti sa budeme venovať transparentným modelom a tzv. modelom typu čierna skrinka. Okrem toho sa pozrieme na metódy na interpretovanie modelov umelej inteligencie a vysvetľovanie jej predpovedí.

Zdroje:

[1] AlphaGo Zero: Starting from scratch, web: https://deepmind.com/blog/article/alphago-zero-starting-scratch

[2] Rasistický chatbot Tay. Web: https://spectrum.ieee.org/in-2016-microsofts-racist-chatbot-revealed-the-dangers-of-online-conversation

[3] Hoffrage U, Gigerenzer G. Using natural frequencies to improve diagnostic inferences. Acad Med. 1998 May;73(5):538-40. doi: 10.1097/00001888-199805000-00024. PMID: 9609869.