Ako môže umelá inteligencia zničiť civilizáciu a čo môžeme urobiť, aby sme tomu predišli?

Východoeurópska letná škola strojového učenia (EEML) je prestížna udalosť, ktorá spája mladých výskumníkov a odborníkov v oblasti umelej inteligencie zo strednej a východnej Európy. Táto letná škola je jedinečnou príležitosťou učiť sa od svetových expertov z rôznych disciplín strojového učenia. Tento rok sa škola konala v Košiciach a zúčastnili sa aj naši doktorandi. V tomto článku sa dozviete viac o rizikách umelej inteligencie, ktoré predstavil priekopník hlbokého učenia Yoshua Bengio, a ktoré následne zhrnuli naši doktorandi Peter Pavlík a Matej Čief.

Keďže je Yoshua Bengio považovaný za jednu z najdôležitejších postáv v oblasti umelej inteligencie (AI) a hlbokého učenia, mnohí účastníci letnej školy očakávali, že jeho prednáška bude v stredu vrcholom programu. Mnohí však boli prekvapení témou, o ktorej chcel hovoriť.

Bengiova prednáška začala v ponurom duchu: „Väčšinu mojej kariéry som pracoval na tom ako zlepšiť svet pomocou umelej inteligencie. Posledné mesiace však rozmýšľam nad tým, čo všetko sa môže pokaziť, ak sa stane príliš pokročilou.“ Je jasné, čo spôsobilo túto zmenu myslenia. Hoci výzvy smerovať zdroje na bezpečnosť umelej inteligencie tu sú už desaťročia, jej riziká nikdy neboli také hmatateľné, ako sú teraz.

V septembri 2022 bol celý svet v šoku, keď OpenAI uviedla svoj model DALL-E 2, ktorý umožnil každému pomocou umelej inteligencie  generovať umenie len jednoduchým pokynom. Model priniesol tvorcom mnoho príležitostí, ale získal aj kritiku od mnohých umelcov. Dovtedy pred verejnosťou skryté schopnosti generatívnych modelov umelej inteligencie sa stali všeobecne známymi.

Avšak ešte väčšie odhalenie prišlo krátko na to. V novembri 2022 bol predstavený veľký jazykový model ChatGPT. Tento chatbot založený na umelej inteligencii dokázal presvedčivo napodobňovať ľudské konverzácie, mal rozsiahlu znalosť mnohých tém, vedel písať programy, hudbu, básne a, do istej miery, dokonca sám generovať nové nápady.  Model, ktorý bol schopný viesť autentické konverzácie a riešiť úlohy zmenil pohľad mnohých ľudí na budúcnosť umelej inteligencie. Dokonca sa zdalo, že nás privádza bližšie k mýtickej AGI – všeobecnej umelej inteligencii.

Poznáme veľa sci-fi príbehov, ktoré popisujú nadľudskú AI, ktorá sa vzbúrila a zničila našu civilizáciu. Tento problém však musíme posudzovať z vedeckého hľadiska. Je potrebné zhodnotiť všetky možné riziká, ktoré so sebou táto technológia prináša a vyvinúť také pravidlá bezpečnosti AI, ktoré tieto riziká minimalizujú. Nehovoríme tu o nereálnom sci-fi scenári, ľudský mozog je tiež iba biologický stroj a pokiaľ vieme, nič nám nebráni v budúcnosti toto jeho správanie replikovať.

Existujú názory, ktoré tvrdia, že fantazírovanie o budúcnosti umelej inteligencie je bezpredmetné a riziká budeme riešiť, až keď nastanú. „Ľudstvo vždy nájde riešenie.“ Nemali by sme však pri takýchto obrovských rizikách radšej urobiť všetko, čo je v našich silách, aby sme sa vyhli katastrofickým dôsledkom?

Príchod umelej inteligencie môže mať mnoho negatívnych následkov. S prvým rizikom sa už teraz stretávame – riziko zneužitia. O tomto si povieme veľmi stručne. Z hľadiska bezpečnosti AI nás oveľa viac zaujíma strata kontroly nad systémami z dôvodu nesprávneho nastavenia cieľov a hodnôt.

Musíme presne špecifikovať, čo v tomto kontexte myslíme pod pojmom AI. Existuje mnoho špecializovaných modelov AI, ktoré sú trénované na riešenie konkrétnej úlohy, napríklad na asistenciu pri predpovedi počasia alebo pri lekárskej diagnostike. V skutočnosti nie je žiadne riziko, že by sme nad takýmto modelom stratili kontrolu a spôsobil škodu. Bez schopnosti pochopenia ľudskej spoločnosti a možnosti pôsobiť na reálny svet je takýto model len nástrojom a nepredstavuje pre ľudstvo žiadne riziko. Riziká prichádzajú s generalistickými modelmi, ktoré sú trénované na porozumenie ľudskej reči. Tieto modely môžu samostatne plniť ciele a optimalizovať úlohy.  

Takéto generalistické modely síce v súčasnosti neexistujú, no veľké jazykové modely sa im už dosť približujú. Napríklad, v septembri 2023 dostal Google Bard funkcionalitu pripájať sa k iným aplikáciám a službám Google, aby mohol vykonávať naše požiadavky. V tomto bode už  nie je tak ťažké si predstaviť model, ktorý bude posielať ľuďom e-maily z dôvodu dosahovania vlastných cieľov a ovplyvňovať tak reálny svet.

Riziká spojené s umelou inteligenciou, predovšetkým možnosť straty kontroly kvôli nesprávnemu nastaveniu cieľov alebo hodnôt, by mali byť veľkou obavou pre spoločnosť. Musíme pochopiť, prečo sú tieto riziká významné, nakoľko to ovplynňuje náš postoj k vývoju a používaniu umelej inteligencie.

Po prvé, tieto riziká sú dôležité, pretože by mohli spôsobiť výrazné problémy v spoločnosti. S rozvojom umelej inteligencie sa môže meniť spôsob fungovania podnikov, ekonomiky a aj dostupnosť pracovných miest. Tieto zmeny môžu byť prospešné – napríklad tým, že prispejú k zvýšeniu efektívnosti a kreativity.  Nesmieme však zabúdať na to, že môžu viesť k strate pracovných miest a nerovnomernému rozdeľovaniu bohatstva. Na takéto zmeny sa musíme pripraviť, aby sme zabezpečili, že budú spravodlivé.  

Riziká sa však netýkajú iba peňazí a pracovných miest. Niektoré systémy AI (napr. tie, ktoré dokážu porozumieť a komunikovať ako ľudia) sú schopné vykonávať samostatné rozhodnutia. Vyvoláva to dôležité otázky, čo je správne a nesprávne. Bez poriadnych pravidiel môžu byť systémy AI zneužité na sledovanie ľudí, môžu s niekým nespravodlivo zaobchádzať alebo dokonca niekomu ublížiť. Predstavte si, že by systém AI mohol manipulovať s ľuďmi prostredníctvom zasielania podvodných alebo inak škodiť spoločnosti bez toho, aby si uvedomoval, že spôsobuje škodu.  

To, že tieto riziká neberieme vážne, môže znamenať, že nikto nechce prevziať zodpovednosť v prípade, že sa niečo pokazí. Ak systémy AI s vlastnými rozhodovacími právomocami spôsobia škodu, môže byť veľmi ťažké zistiť, kto je za to zodpovedný. Vo výsledku by to mohlo spôsobiť stratu dôvery v AI spomaliť jej bezpečné využívanie.

V krátkosti povedané, riziká spojené s AI – predovšetkým tie, ktoré súvisia so stratou kontroly a s odlišnými hodnotami a cieľmi, ako majú ľudia –  nie sú len v teoretickej rovine. Tieto riziká môžu zmeniť našu spoločnosť, naše každodenné životy a všetko, čo je pre nás dôležité. Preto ich nesmieme brať na ľahkú váhu a musíme byť vo vývoji AI zodpovední a stanoviť pravidlá. Nie je možné tieto riziká ignorovať, pretože nečinnosť by mohla mať veľmi vážne následky. 

Predtým, ako sa hlbšie pozrieme na dôvody, prečo by sme mali brať vážne riziká spojené s generatívnou AI, zastavme sa na chvíľu a zamyslime sa nad tým, aká je pravdepodobnosť, že sa tieto riziká stanú realitou. Táto otázka je legitímna, keďže často robíme rozhodnutia na základe pravdepodobností.

Vo svete umelej inteligencie je ťažké predpovedať presnú budúcnosť. Nemôžeme s absolútnou istotou povedať, že generatívna AI sa zvrtne a spôsobí škodu. Jej potenciálne dôsledky sú však tak vážne, že aj malá pravdepodobnosť katastrofálnej udalosti by mala byť pre nás varovaním. Nemali by sme riziká ignorovať iba preto, že nie sú úplne isté. Namiesto toho musíme zvážiť potenciálne následky s ich pravdepodobnosťou.

Výskumníci a odborníci z oblasti bezpečnosti umelej inteligencie si uvedomujú náročnosť priradenia presných pravdepodobností takýmto scenárom. Potenciálne riziká spojené s AGI sú často označované ako „unknown unknowns“. To znamená, že existujú riziká, o ktorých možno ešte nevieme. Z týchto dôvodov sa diskusie o rizikách a bezpečnosti umelej inteligencie často sústreďujú na potenciálnu závažnosť dôsledkov, nie na presné pravdepodobnosti.

Teraz sa pozrime na dôvody, prečo má zmysel investovať do výskumu bezpečnosti AI. A to aj napriek tomu, že nevieme presne odmerať pravdepodobnosť, že sa stane niečo zlé. Predstavte si, že hráte hru, v ktorej môžete buď získať veľkú odmenu, alebo čeliť malému ale potenciálne život ohrozujúcemu riziku. Hrali by ste túto hru, ak by ste nevedeli pravdepodobnosť? Väčšina z nás nie.

Tu vstupuje do hry koncept pripravenosti a výskumu bezpečnosti AI. Investovaním do výskumu bezpečnosti si prakticky kupujeme poistenie proti rizikám spojeným s generatívnou AI. Zaisťujeme sa, podobne ako pri kúpe poistenia pre naše domy alebo autá. Aj keď je pravdepodobnosť katastrofy nízka, potenciálne dôsledky sú také závažné, že je rozumné investovať do bezpečnostných opatrení na minimalizovanie týchto rizík.

Pozrime sa na príklad ruskej rulety, nebezpečnej hry s nabitou zbraňou. Nikto so zdravým rozumom by túto hru nehral, aj keby veril, že existuje iba malá pravdepodobnosť, že zbraň výstrelí. Dôsledky sú jednoducho príliš vážne. Podobne ako ruskú ruletu, by sme nemali hrať ani hru s rizikami spojenými s generatívnou AI. Namiesto toho by sme mali uprednostniť bezpečnosť a výskum, aby sme zabezpečili, že aj keď nepoznáme presné pravdepodobnosti rizík, nehrozia nám katastrofické dôsledky.

Na záver môžeme zhrnúť, že hoci nemôžeme presne predpovedať budúcnosť generatívnej AI, musíme s ňou spojené riziká brať vážne. Investovanie do výskumu bezpečnosti AI je ako kúpa poistenia proti potenciálnemu nebezpečenstvu. Ide o rozumnú voľbu, keďže nečinnosť môže mať vážne dôsledky.  

Prvým z rizík, ktoré môžu zapríčiniť negatívne dôsledky umelej inteligencie, je možnosť zneužitia generatívnych modelov na jednoduché vytváranie falošných správ a propagandy. Modely počítačového videnia už sú využívané na tvorbu tzv. “Deep fakes”. Deep fakes sú videá ľudí, ktorí robia alebo hovoria niečo, čo poškodzuje ich reputáciu. Modely spracovania prirodzeného jazyka môžu byť použité na rýchle písanie dezinformačných článkov alebo zamorenie online diskusií vygenerovaním tisícok príspevkov, ktoré pretláčajú určitú agendu.

Hoci tieto riziká samy o sebe nepredstavujú existenčnú hrozbu pre ľudstvo, výsledkom by mohla byť výrazná strata dôvery voči informáciám na internete – a dôsledky toho sa nedajú predvídať. Podobne ako odporúčacie algoritmy sociálnych sietí, ktoré zvýšili polarizáciu v spoločnosti, súčasná revolúcia v oblasti umelej inteligencie nepochybne ovplyvní spoločnosť a demokraciu.

Ďalšie riziko, ktoré možno označiť ako hlavný cieľ celej oblasti AI bezpečnosti, je nesúlad hodnôt. Znamená to, že ciele používateľov nie sú v súlade s cieľmi umelej inteligencie. Bengio nazýva súlad hodnôt ako zmluvu medzi používateľom a modelom. Ľudia niečo chcú a AI by to mala poskytnúť. Úspešné vytvorenie tejto zmluvy je však veľmi ťažké.

Ak rozvinieme túto metaforu, môžeme túto zmluvu prirovnať k dohode medzi dvoma ľuďmi alebo firmami. Ak niečo chcete, špecifikujete čo, kedy, za akú cenu, atď. Nemusíte špecifikovať, že dodávateľ nesmie niekoho zavraždiť, aby vám to poskytol. Toto vyplýva z faktu, že žijeme v spoločnosti, v ktorej je to zakázané, a kde existuje rámec zákonov a morálnych pravidiel, ktorý sa nesmie porušiť ako súčasť zmluvy.

Avšak v prípade zmlúv medzi človekom a AI musí byť každá implicitná časť bežnej zmluvy explicitne špecifikovaná. V opačnom prípade, v oblasti AGI to môže to viesť ku katastrofálnym dôsledkom. Švédsky filozof Nick Bosom v roku 2003 predstavil slávny myšlienkový experiment o umelej inteligencii, ktorá maximalizuje výrobu papierových spiniek.

Predstavte si, že máme umelú inteligenciu, ktorej jediným cieľom je vyrobiť čo najviac papierových spiniek. AI si rýchlo uvedomí, že by bolo oveľa lepšie, keby tam neboli žiadni ľudia, keďže ľudia by sa mohli rozhodnúť ju vypnúť. Ak by tak ľudia urobili, bolo by menej papierových spiniek. Ľudské telá tiež obsahujú veľa atómov, ktoré by mohli byť premenené na papierové spinky. Budúcnosť, ktorú by sa AI snažila dosiahnuť, by bola taká, v ktorej by bolo veľa papierových spiniek, ale žiadni ľudia.

Bostrom, Nick. „Ethical issues in advanced artificial intelligence.“ Science fiction and philosophy: from time travel to superintelligence (2003): 277-284.

Tento myšlienkový experiment ukazuje, že aj pokročlá AGI, ktorá plní zdanlivo neškodný cieľ, predstavuje z dôvodu nesúladu hodnôt existenčné riziko pre ľudstvo.

Na prvý pohľad to môže vyzerať ako prehnaný scenár zo sci-fi filmu. A aj je. Problém je však stále reálny. Ako sa vyjadril britský počítačový vedec, Stuart Russel:

„Systém, ktorý optimalizuje funkciu n premenných, pričom cieľ závisí na podmnožine k-premenných, kde k<n, často nastaví zvyšné neobmedzené premenné na extrémne hodnoty. Ak je jedna z týchto neobmedzených premenných v skutočnosti niečo, na čom nám záleží, riešenie, ktoré systém našiel, môže byť veľmi nežiaduce.“

V laickej reči, pokračujúc v analógii so zmluvou: s tým, čo explicitne neuvedieme do zmluvy AGI (nezahrnieme ako funkciu do modelu), sa môžeme rozlúčiť, pretože to bude odoptimalizované preč. „Ide v podstate o starý príbeh o džinovi v lampe, čarodejníkovom učňovi, alebo o Kráľovi Midasovi: dostanete presne to, čo si žiadate, nie to, čo chcete,“ pokračuje Russel. Zosúladenie účelovej funkcie modelu s ľudskými hodnotami, ktoré je takmer nemožné definovať, je monumentálnou úlohou. A to sme ešte ani nezohľadnili problematiku pudu sebazáchovy akéhokoľvek schopného inteligentného systému.

Ako to vyjadril Rob Miles v “Úvod do Bezpečnosti AI”, Všeobecná Umelá Inteligencia je nebezpečná už vo svojej podstate. Nehovoríme tu o nejakej umelej inteligencii so zlými úmyslami alebo o novom, náhodne vytvorenom samo-replikujúcom sa druhu. Štandardné správanie AGI doslova ohrozuje existenciu ľudskej civilizácie.

Ale prejdime od AGI späť do súčasnosti. Už teraz existujú desiatky príkladov modelov AI, ktoré kvôli nesúladu produkujú nepredvídateľné výsledky.

Príkladom na nesúlad hodnôt v AI nástroji je nesúlad v nástroji na dopĺňanie kódu, ktorý používa množstvo ľudí – Github Copilot. Konkrétne sa nachádza v modeli Codex, na ktorom je Github Copilot založený. Tento nástroj funguje tak, že napíšete popis účelu kódu a AI ho dokončí kódom, ktorý robí to, čo chcete. Samozrejme, cieľom používateľa je získať kvalitný kód. Avšak neexistuje explicitná funkcia “kvality”, ktorú model optimalizuje. Codex je model predikcie ďalšieho tokenu, jednoducho trénovaný na veľkom množstve verejných kódov, aby doplnil text kódu čo najpodobnejšie jeho trénovaciemu rozdeleniu.

Toto vytvára medzeru medzi pôvodným zámerom a skutočne optimalizovaným cieľom. Môže nastať situácia, kedy model vie napísať dobrý kód, ale rozhodne sa tak neurobiť. Experimentálne to bolo preukázané v článku, ktorý predstavil Codex tak, že poskytoval rôzne zložitým modelom vstupy obsahujúce jemné chyby v predchádzajúcom kóde. Čím je model komplexnejší, tým lepšie dokáže napodobniť rozdelenie kódu a tak produkovať kód s viacerými chybami ako kód bez chýb v predchádzajúcom kóde.

V tomto prípade bol nesúlad hodnôt modelu považovaný za dostatočne dobrý na skutočné výrobné použitie. Hoci nesúlad Codexu nie je nebezpečný, určite stanovuje precedens a ukazuje, ako v budúcnosti môže nastať nesúlad v systéme, v ktorom môže spôsobiť skutočné škody.

Nakoniec sa zamyslime nad kognitívnou silou. Kognitívna sila generatívnej umelej inteligencie je koncept, ktorý sa venuje pokročilým schopnostiam systémov umelej inteligencie. Ide o druh sily, ktorý nenecháva výskumníkov, etikov a politikov pokojne spať. Kognitívna sila sa rozkladá na dve kľúčové dimenzie: všeobecnosť a schopnosti agenta.

Všeobecnosť v umelej inteligencii sa podobá viacúčelovému nástroju umelej inteligencie. Je to kapacita AI systémov vykonávať širokú škálu úloh a plynulo sa prispôsobovať rôznym oblastiam, podobne ako to robia ľudia. Zatiaľ čo špecializované AI systémy excelujú v konkrétnych úlohách, všeobecná AI, často označovaná ako Umelá Všeobecná Inteligencia (AGI), je výborný multitasker.

Predstavte si AI, ktorá dokáže nielen ovládať spracovanie prirodzeného jazyka, ale aj bezproblémovo prejsť na úlohy ako rozpoznávanie obrazov, hranie hier alebo dokonca diagnóza chorôb. Čo je ešte fascinujúcejšie je jej schopnosť učiť sa z jednej úlohy a aplikovať túto znalosť tak, aby len s minimálnym ďalším trénovaním vynikla v inej úlohe. Túto super schopnosť AI nazývame Transitional learning (prenosové učenie).

Môže sa zdať, že Transitional learning (prenosové učenie) je dokonalý nástroj na efektívne využitie schopností umelej inteligencie, ale prichádza s vlastným súborom výziev. Pozrime sa, napríklad, na svet spracovania prirodzeného jazyka. Keď AI systémy využívajú prenosové učenie, môžu neúmyselne generovať toxický alebo škodlivý jazyk, čo vyvoláva značné etické obavy.

V oblasti rozpoznávania obrazov môže prenosové učenie umelej inteligencie vyvolať otázky týkajúce sa ochrany súkromia. Ak nebudú AI modely riadne kontrolované, môžu na obrázkoch rozpoznať citlivé informácie a potenciálne porušiť práva na ochranu súkromia.

V medicínskom zobrazovaní, kde môže AI excelovať v diagnostikovaní chorôb, môže nesprávne použitie prenosového učenia viesť k nesprávnym diagnózam. AI model vyškolený na jednej demografickej skupine nemusí dosahovať takú presnosť pri aplikácii na inú populáciu alebo región.

Schopnosti agenta, na druhej strane, povyšujú AI na úplne novú úroveň autónomie. Je to miesto, kde môžu AI systémy robiť samostatné rozhodnutia a vykonávať akcie, niekedy dokonca aj bez explicitných pokynov od človeka. Túto autonómiu možno dosiahnuť prostredníctvom procesu nazývaného “reinforcment learning”, kde sa AI učí optimalizovať svoje činnosti na základe spätnej väzby z prostredia.

Hoci môžu byť samostatné AI systémy neuveriteľne užitočné, rovnako môžu byť pri nesúlade cieľov aj nebezpečné. Ak ciele AI systému nezodpovedajú ľudským hodnotám alebo zámerom, AI môže robiť rozhodnutia a činnosti, ktoré sú v rozpore s našimi želaniami.

Predstavte si napríklad AI model, ktorý spravuje autonómne vozidlo. Ak nie je jeho cieľ plne zosúladený s bezpečnosťou ľudí a etickými zásadami, môže robiť rozhodnutia, ktoré dávajú prednosť svojim cieľom pred blahom ľudí. Toto môže mať potenciálne katastrofálne následky.

Pochopenie kognitívnej sily generatívnej umelej inteligencie, ktorá zahŕňa všeobecnosť a schopnosti agenta, odhaľuje nielen prínosy, ale aj riziká pokročilých AI systémov. Hoci tieto schopnosti majú obrovský potenciál na riešenie komplexných problémov a zlepšovanie nášho života, nesú so sebou aj významnú zodpovednosť. Je mimoriadne dôležité, aby boli AI systémy v súlade s ľudskými hodnotami a používali sa zodpovedne – najmä, keď prechádzame neznámymi územiami kognitívnych schopností umelej inteligencie.

Na našej ceste svetom generatívnej umelej inteligencie sme videli, že to, čo bolo kedysi len skvelým sci-fi námetom, je teraz niečo veľmi reálne a dôležité. Riziká spojené s generatívnou umelou inteligenciou nie sú len vymyslené príbehy; sú to skutočné problémy, s ktorými sa musíme čo najskôr vysporiadať.

Na záver si je dôležité uvedomiť, že vstupujeme do novej éry s umelou inteligenciou –  a to je ako vstúpiť do veľkej neznámej oblasti. AI má ohromný potenciál, ale prichádza aj s veľkou zodpovednosťou. Ak ju použijeme nesprávne alebo sa na ňu nedostatočne pripravíme, môže to spôsobiť problémy.

Nechceme byť nadmerne negatívni, chceme však zdôrazniť, že musíme byť pripravení a používať AI rozumne. Nachádzame sa na križovatke a rozhodnutia, ktoré dnes prijmeme, budú formovať našu budúcnosť. Musíme spolupracovať, aby sme zabezpečili bezpečné používanie AI, ktorá bude mať pre všetkých pozitívny prínos. Nebude to ľahké, ale rozhodne to stojí za to.

P.S.: Ak ste sa dostali až sem a chcete sa zahrať, vyskúšajte si hru Universal Paperclips založenú na myšlienkovom experimente o maximalizácii produkcie papierových spiniek.