Vplyv umelej inteligencie na uhlíkovú stopu

O vplyve ľudskej činnosti na životné prostredie sa hovorí čoraz častejšie. Aký dopad na životné prostredie má chov dobytka, doprava či módny priemysel, ste už mnohí určite niekde počuli. No my by sme vám chceli predstaviť to, ako mnohokrát až nečakane môže ovplyvniť životné prostredie umelá inteligencia a s ňou súvisiaci výskum a opakované trénovanie veľkých modelov strojového učenia.

Modely umelej inteligencie, obzvlášť založené na tzv. hlbokých neurónových sieťach sa neustále zväčšujú, pribúda viac dát. Aktuálne sa vo vývoji umelej inteligencie veľmi nehľadí na optimalizáciu modelov. Jednoducho sa vytvorí väčší model pridaním ďalších vrstiev alebo počtu parametrov neurónovej siete. Týmto sa síce zvyšuje výpočtová sila, ktorú potrebujeme na jednotlivé úlohy. Tým pádom sa zvyšuje aj energia, ktorú daný model spotrebuje. Tiež sa zvýši aj cena za natrénovanie tohto modelu. 

Dopad modelov využívajúcich hlboké neurónové siete na životné prostredie je čoraz väčší. Ale tento problém nie je neriešiteľný. V KInITe nám záleží na tom, aký má naša práca vplyv na životné prostredie a pracujeme na opatreniach, ako tieto dopady znížiť. V tomto článku sme zhrnuli zopár prístupov, ako je možné vplyv vývoja umelej inteligencie zmieniť. Veríme, že poslúži ako inšpirácia a aj vy sa rozhodnete niektoré princípy aplikovať vo svojej práci. 

V oblasti výskumu umelej inteligencie sa môžeme stretnúť aj s pojmami Red AI a Green AI. Pojmom Red AI je označovaný výskum, ktorý nehľadí na to, koľko peňazí a zdrojov bolo do výskumu vložených. Je zameraný len na budovanie lepších výsledkov. 

Na opačnej strane je prístup Green AI. Green AI je spôsob výskumu, v ktorom sú výskumníci motivovaní, aby sa nepozerali iba na výsledky, ale aj na zdroje, ktoré je potrebné využiť na dosiahnutie týchto výsledkov. 

Zosumarizovali sme pre vás niekoľko princípov, ktoré môžu výskumníkom v oblasti AI pomôcť znižovať uhlíkovú stopu ich práce. Čo vieme urobiť preto, aby sme znížili našu uhlíkovú stopu pri výskume umelej inteligencie?  

Výpočet (inferenciu) v tomto prípade chápeme ako používanie modelu umelej inteligencie na reálnych dátach v prevádzke (produkcii). 

Jedným z prístupov je orezávanie neurónovej siete. Ide o optimalizáciu modelu odstránením častí, ktoré sa na výsledku podieľajú v minimálnej forme. Spojenia, ktoré sa nepodieľajú na zlepšení výsledkov, sa jednoducho odstránia. 

Po orezaní nepotrebných častí neurónových sietí (spojení, ale niekedy aj samotných neurónov) do výpočtu (inferencie) vstupuje menej spojení. Zníži sa tak energetická náročnosť, pretože sa na ich chod tým pádom neminie elektrická energia. 

Frankl a Carvin sa  vo svojej práci The Lottery Ticket Hypothesis pozreli na to, či existuje podsieť, ktorá by od inicializácie vedela pracovať rovnako dobre ako pôvodná sieť. V prípade trénovania a orezávania siete potrebujeme najprv natrénovať sieť pri plnej kapacite. Zaoberali sa myšlienkou, či dokážeme už na začiatku trénovania určiť podsieť, ktorá by pri rovnakom počte dát a rovnakom počte trénovacích epoch dokázala dospieť k rovnakým výsledkom.

Po odstránení zbytočných prepojení resetovali sieť na pôvodné hodnoty a následne sa snažili natrénovať celú sieť. Ukázalo sa, že takáto sieť existuje v každej sieti. Sieť dokázali natrénovať dokonca s lepšou presnosťou, pričom mala len 20% pôvodnej veľkosti.

Toto by bolo zbytočné, ak by sme nemali podporu v hardvéri. V prípade trénovania a orezávania neurónovej siete je vytváraná maska na to, ktoré neuróny sa budú ďalej trénovať a ktoré nie. 

Ďalším veľmi dôležitým faktorom, ktorým si vieme pomôcť, je precízne si vyberať lokalitu a poskytovateľov infraštruktúrnych služieb, cloudových riešení a data centier.  

Rôzne spoločnosti a rôzne krajiny využívajú rôzne druhy energie. S ohľadom na čerpanie udržateľných zdrojov energie sú na tom aktuálne najlepšie Google (využíva 100% obnoviteľnej energie), Amazon (17%) a Microsoft (32%). 

Každá z väčších spoločností má aj plán obnovy energie. Microsoft sa zaviazal, že do roku 2030 bude uhlíkovo neutrálny, čiže bude prispievať k odstráneniu uhlíka rovnakou mierou, ako k nemu prispieva. Amazon sa v decembri stal najväčším kupcom obnoviteľnej energie, pričom sa zaviazal, že do roku 2025 sa stane uhlíkovo neutrálny. 

Google bol uhlíkovo neutrálny už v roku 2007 a v súčasnosti sa skôr zameriavajú na rozdiely v tom, kedy využívajú obnoviteľné a kedy uhlíkové zdroje. Zaviazali sa, že do roku 2030 budú využívať len obnoviteľné zdroje energie.  

Sú rôzne možnosti, ako využívať obnoviteľné zdroje energie. Microsoft ponoril na morské dno serverovňu, ktorá sa chladila prirodzene chladom podmorského prostredia. Ukázalo sa, že to funguje relatívne dobre a niektoré komponenty im fungovali dokonca lepšie. Google napríklad buduje dátové centrá pri riekach, aby mohli využívať energiu priamo z lokálnej hydroelektrárne. 

Zamerajme sa na to, ako reportovať množstvo spotrebovanej energie a to, za aký dlhý čas bola spotrebovaná v rámci výskumu. Peter Henderson s kolektívom vo svojej práci Carbon impact statement vytvorili ukážku toho, ako by sa mohlo v publikáciách uvádzať, koľko emisií a energie bolo použitých na daný výskum. Vysvetľujú, prečo je potrebné tieto výsledky publikovať. Vytvorili rebríčky aj rámec, o ktorom hovoria, že je jednoducho implementovateľný do rôznych riešení.

Každý výskumník potrebuje svoju prácu porovnávať s inými riešeniami, aby zistil, či je jeho metóda účinnejšia alebo nie. Zdieľajme natrénované modely a výsledky, aby sme uľahčili prácu ostatným a aby rovnaká práca nevyžadovala 2-krát alebo N-krát toľko energie z dôvodu opätovného trénovania. Ide o jeden z najjednoduchších mechanizmov, ako môžeme napomôcť zníženiu uhlíkovej stopy. Okrem environmentálnej zodpovednosti prispejeme k rýchlejšiemu pokroku a podporíme princíp tzv. otvoreného výskumu.

Existuje viacero spoločností, ktoré poskytujú možnosť zakúpenia offsetov. Znamená to, že firma si vie vybrať, ktoré projekty bude finančne podporovať a akou mierou. Tým sa vynahradí vytvorená uhlíková stopa.

Pri voľbe kompenzácií emisií je však dôležité to, aby nenahrádzali opatrenia na znižovanie emisií. Malo by to byť posledné opatrenie, po ktorom siahneme, keď už sme všetky ostatné možnosti vyčerpali.

Výskum umelej inteligencie prináša mnoho výhod, no má aj tienisté stránky, na ktoré nesmieme zabúdať. Je aj našou povinnosťou ako výskumníkov, znižovať uhlíkovú stopu našej práce. 

V KInITe nám záleží na tom, aby výskum a vývoj umelej inteligencie bol nielen prínosný, ale aj environmentálne zodpovedný. Neustále vylepšujeme interné usmernenia pre našich výskumníkov, aby sme minimalizovali vplyv umelej inteligencie na uhlíkovú stopu. Prispeli sme k zverejneniu doteraz najväčšieho slovenského neurónového jazykového modelu SlovakBERT. Tiež sme zverejnili ďalšie dotrénované modely, aby ich mohli použiť aj ostatní výskumníci a nemuseli opakovane mínať zdroje na trénovanie svojich vlastných. 

Na životnom prostredí nám záleží. Ako inštitút, ktorý aktívne pracuje s metódami umelej inteligencie, budeme v oblasti ochrany životného prostredia vždy robiť maximum. Návrhy našich projektov a žiadosti o granty staviame na riešeniach, ktoré sa dajú opakovane použiť. Sme súčasťou medzinárodných projektov, ktoré dbajú na znovupoužiteľnosť výstupov. Chceme, aby mala naša práca pozitívny vplyv, nie aby prispievala k environmentálnej záťaži na prostredie okolo nás.