Ako rozmýšľa umelá inteligencia?

Vysvetliteľná umelá inteligencia: od čiernych skriniek k transparentným modelom

Môže umelá inteligencia rozhodovať o tom, kto bude prepustený z väzenia, alebo kto postúpi do ďalšieho kola pracovných pohovorov? Môže odporúčať preventívne vyšetrenia na rôzne choroby alebo úplne prevziať zodpovednosť za riadenie vozidla v snehovej búrke? 

Nie ste si istí, ako odpovedať na takéto otázky? Ak by ste vedeli, že umelá inteligencia svoje rozhodnutie detailne zdôvodnila a každý človek by si mohol overiť, či sa rozhodovala správne – zmenilo by to váš názor? 

Prinášame vám prvý diel série článkov na tému vysvetliteľnej a transparentnej umelej inteligencie. 

V tejto časti sa dočítate:

  • prečo vlastne potrebujeme mať umelú inteligenciu vysvetliteľnú a transparentnú, 
  • ako hľadáme rovnováhu medzi presnosťou a interpretovateľnosťou.

Úvod do vysvetliteľnej umelej inteligencie

Aj keď neurónové siete poznáme už od roku 1943 (McCulloch a Pitts), najnovší boom okolo nich, po ktorých neurónové siete získali dominanciu v rámci strojového učenia, začal až v roku 2012 výskumom Alexa Krizhevského, Ilyu Sutskevera a Geoffreyho Hintona1, ktorí sú priekopníci hlbokého učenia ako súčasnej dominantnej vetvy umelej inteligencie (AI). Vo svojej práci ukázali, že aj pomerne jednoduchá hlboká neurónová sieť, ktorá sa skladala z ôsmich vrstiev (v porovnaní s dnešnými sieťami, ktoré môžu obsahovať aj viac ako tisíc skrytých vrstiev, ide o pomerne jednoduchú sieť), výrazným spôsobom prekonala vtedajšie prístupy pri klasifikácii obrázkov do tisícky rôznych tried.

Obrázok: Príklad neurónovej siete (v tomto prípade sa jedná o doprednú neurónovú sieť).

Typická jednoduchá neurónová sieť (na obrázku) sa skladá zo vstupnej vrstvy, viacerých skrytých vrstiev a jednej výstupnej vrstvy. Vstupná vrstva predstavuje dáta, s ktorými neurónová sieť pracuje – môže sa jednať o hodnoty pixelov obrázka, číselnú reprezentáciu slov alebo hodnoty namerané nejakým senzorom. Skryté vrstvy následne tieto vstupy postupne transformujú na takzvanú skrytú (alebo latentnú) reprezentáciu – v prípade obrázkov si takúto reprezentáciu môžeme predstaviť ako výsledok filtrovania obrázka v grafickom editore (“fotošop”). Neuróný na výstupnej vrstve predstavujú finálnu predikciu neurónovej siete.

Na tomto obrázku má neurónová sieť práve jeden výstupný neurón. Ak je jeho hodnota pre vstup X napríklad blízka hodnote 1, môže to znamenať, že vstupný obrázok obsahuje auto. Naopak, hodnota blízka 0 môže indikovať, že sa na obrázku auto nenachádza. V tomto prípade neurónová sieť predikuje, že na obrázku sa auto s veľkou pravdepodobnosťou nachádza, keďže výstupný neurón nadobudol hodnotu 0,93. 

Princíp fungovania moderných neurónových sietí je, zjednodušene povedané, založený na postupnom filtrovaní a transformovaní vstupných dát, až pokiaľ takto zmenená informácia nedá odpoveď na nejakú otázku, ktorú má model zodpovedať. Ak má napríklad model klasifikovať obrázky, tak v prvej skrytej vrstve môže napríklad vyfiltrovať či zvýrazniť hrany, rozmazať obrázok alebo zvýrazniť v ňom nejakú farbu – alebo všetko naraz! Druhá vrstva už nepracuje priamo s pixelmi pôvodného obrázka, ale s výstupom prvej vrstvy.

Pracuje teda už s abstraktnejšími konceptmi, než sú pôvodné pixely. Ukazuje sa pritom, že čím viac skrytých vrstiev model obsahuje, t.j. čím je hlbší, tým lepší výkon typicky model dosahuje (samozrejme, ani toto pravidlo neplatí vždy a záleží to od kontextu a riešenej úlohy).

Od prielomu Alexa Krizhevského a kol. sa hlboké neurónové siete využívajú stále častejšie a neustále sa zlepšujú. Môžu nám pomáhať pri analýze a získavaní znalostí zo snímok z kamier, vďaka čomu sa napríklad autonómne autá môžu rozhodnúť, či má auto odbočiť alebo pridať plyn, alebo pri analýze sentimentu a tónu diskusie na sociálnych sieťach, čo môže prispieť k jej kultivovaniu a zníženiu množstva nenávistných príspevkov.

Neurónové siete a ich aplikácie už dnes prekonávajú ľudí vo viacerých individuálnych činnostiach. No aj tu platí výrok: “Obed zadarmo neexistuje.”. A cenou za narastajúcu využiteľnosť neurónových sietí  je okrem iného aj ich komplexita.

S narastajúcou komplexitou zároveň klesá naša schopnosť porozumieť modelom a ich rozhodnutiam.

Je pravda, že pri niektorých typoch aplikácií nie je nutné takýmto modelom detailne rozumieť. Napríklad, nie je až taký veľký problém, ak nám umelá inteligencia v e-shope neodporučí najlepší telefón. Potom sú tu však regulované odvetvia a oblasti ako medicína, bezpečnosť, energetika, financie, či už spomínané autonómne vozidlá. Oblasti, ktoré majú priamy dosah na naše životy, a v ktorých sú pochopenie a schopnosť vysvetliť to, ako umelá inteligencia “premýšľa”, rovnako dôležité ako to, aké sú jej výsledky.

Hoci systémy umelej inteligencie a ich využitie sú na vzostupe, dnes ešte nerozhodujú vo väčšine citlivých prípadov. Kým sa tak stane, budeme musieť byť schopní v dostatočnej miere vedieť odpovedať na otázky ako:

  • Prečo nám systém oddelenia ľudských zdrojov odporúča neprijať zamestnanca?
  • Na základe čoho sa rozhoduje model o tom, či ste alebo nie ste náchylný zopakovať trestný čin?
  • Ako rozoznajú autonómne vozidlá značku „stop“? Vedia ju rozoznať dostatočne dobre?
  • Je pre nás dôležité, aby sme rozumeli tomu, na základe čoho sa rozhodujú a aké znalosti reálne obsahujú neurónové siete?

V rámci nášho výskumu sa zaoberáme otázkami vysvetliteľnej a interpretovateľnej umelej inteligencie (AI). Vysvetliteľnosť a interpretovateľnosť sú veľmi dôležité pojmy, ktoré však ani vo vedeckej literatúre ešte nemajú úplne ustálený význam. Chápeme ich takto:

  • Vysvetliteľnosť má za úlohu poskytnúť zdôvodnenie rozhodnutia umelej inteligencie, ktoré bude v  “jazyku”, ktorému je človek schopný porozumieť. Inými slovami, chceme vedieť, prečo sa model rozhodol tak, ako sa rozhodol. Pri klasifikácii zvierat na obrázkoch napríklad chceme zvýrazniť tie časti obrázka, ktoré umelú inteligenciu presvedčili, že sa na ňom nachádza mačka alebo pes.
  • Interpretovateľnosť sa v porovnaní s vysvetliteľnosťou nezameriava na konkrétnu predikciu, ale jej cieľom je odhaliť a porozumieť znalostiam zakódovaným v modeli. Môže nás napríklad zaujímať, ako si model, ktorý klasifikuje obrázky rôznych zvierat, “predstavuje” mačku. Hovoríme o tzv. mapovaní abstraktných konceptov do domény, ktorej je človek schopný porozumieť.

Schopnosť vysvetliť, ako AI dospela ku konkrétnej predpovedi, poskytuje nové možnosti na zlepšenie modelov, objavenie skrytých skreslení, zakódovanej diskriminácie a interpretovanie vedomostí vo vnútri modelu.

Správnosť vs. interpretovateľnosť

Výkonnosť neurónových sietí neprichádza zadarmo. Na to, aby siete dosiahli s pomerne malou námahou (v porovnaní s inými prístupmi) vysokú presnosť, musia byť komplexné. A podobne ako v iných sférach života, aj tu platí, že rozumieť zložitým veciam je oveľa ťažšie ako rozumieť tým jednoduchým.

Cieľom nášho výskumu je spojiť to najlepšie z oboch svetov. Chceme presnosť hlbokého učenia, ale zároveň ho chceme posunúť čo najviac k interpretovateľnosti a vysvetliteľnosti. Chceme vedieť, prečo sa modely rozhodujú tak, ako sa rozhodujú a aké znalosti sú v nich zakódované.

Na diagrame nižšie vidíme známe modely, ktoré sú na osi X zoradené podľa miery ich interpretovateľnosti a na osi Y podľa toho, akú relatívnu presnosť v porovnaní s inými prístupmi vedia tieto modely dosiahnuť. Pri pohľade na extrémy, na jednom konci sú hlboké neurónové siete, ktoré dosahujú najvyššiu presnosť, ale zároveň im najmenej rozumieme, a na druhom konci vpravo nájdeme modely umelej inteligencie, v ktorých je znalosť reprezentovaná najviac explicitne (a najviac intuitívne pre človeka).

Typicky platí, že čím explicitnejšie je znalosť uchovávaná v modeli a čím viac je tento model interpretovateľný pre človeka, tým menšiu má modelovaciu kapacitu (okrem iného preto, že takéto kódovanie znalostí je náročné na prácu človeka) a dosahuje menšiu presnosť. Napríklad v pravidlových systémoch alebo jednoduchých rozhodovacích stromoch sú “myšlienkové pochody” modelu v procese rozhodovania krásne jednoduché: “AK má zviera perie A nelieta A žije v chladných oblastiach, TAK je to tučniak”.

Takéto modely sú ale veľmi ťažko použiteľné pri riešení komplikovaných úloh, kde okrem toho môžu ľahko stratiť svoju interpretovateľnosť. Ak by sme rovnaký model chceli použiť napríklad na rozpoznanie jazyka, v ktorom je písaný text, počet podmienok v pravidle “AK … A … TAK” by sa mohol veľmi rýchlo vyšplhať na stovky až stovky tisícov.

Obrázok: Voľba algoritmu strojového učenia pre riešenie konkrétneho problému je často o hľadaní kompromisov – zatiaľ čo komplexné modely zvyčajne dosahujú vyššiu presnosť, miera ich interpretovateľnosti býva zväčša nižšia. Výskum vysvetliteľnej umelej inteligencie sa zaoberá tým, ako vytvárať modely, ktoré budú okrem vysokej presnosti dosahovať aj veľkú mieru transparentnosti a interpretovateľnosti (zelená oblasť). 2

Záver prvej časti

V rámci prvej časti seriálu o vysvetliteľnej umelej inteligencii sme si povedali o presnosti a vysvetliteľnosti, o ich vzťahu a o tom, na čo vlastne vysvetliteľnosť potrebujeme. 

Napriek tomu, že v súčasnosti sa vo výskume aj v priemysle skloňujú najmä komplexné modely ako hlboké neurónové siete, treba mať na pamäti, že ich bezprecedentná výkonnosť má svoju cenu. 

Proces rozhodovania zložitých modelov je vysoko netransparentný a človek nemusí byť schopný porozumieť, ako takéto modely dospeli k predpovedi. V kritických doménach ako zdravotníctvo či finančný sektor to môže mať vážne dôsledky, alebo úplne zabrániť použitiu komplexných modelov. 

Výskum v oblasti vysvetliteľnej umelej inteligencie (XAI) sa snaží poskytnúť metódy a techniky, aby bolo možné dosiahnuť to najlepšie z oboch svetov. Teda zrozumiteľnosť jednoduchých modelov a výkonnosť tých zložitých, ktoré sa často označujú aj ako čierne skrinky. Preto sa výskumu XAI venujeme v KInITe aj my.

Ak vás problematika vysvetliteľnej umelej inteligencie zaujala, môžete sa tešiť na ďalšie časti seriálu. Budeme sa venovať transparentným a tzv. modelom typu čierna skrinka, či metódam na vysvetľovanie a interpretovanie modelov umelej inteligencie. Ukážeme si tiež, že nám nestačí len jedna metóda vysvetliteľnosti a prečo je to tak.

Zdroje:

[1] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. 2012. ImageNet classification with deep convolutional neural networks. In Proceedings of the 25th International Conference on Neural Information Processing Systems – Volume 1 (NIPS’12). Curran Associates Inc., Red Hook, NY, USA, 1097–1105.

[2] ARRIETA, Alejandro Barredo, et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, 2020, 58: 82-115.

Projekt podporil Nadačný fond PricewaterhouseCoopers v Nadácii Pontis.

Vysvetliteľná umelá inteligencia: od čiernych skriniek k transparentným modelom