Marek a Matúš úspešne obhájili svoje doktorandské práce

Práca skúma rôzne spôsoby tvorby prediktívnych modelov založených na modeli učenia súborom metód (ensemble learning). Výsledkom je návrh metódy predikcie založenej na úprave tohto modelu. Marek realizoval príspevok v každej z troch základných krokov ensemble learning prístupu  (generovanie, orezávanie a integrácia). Pri integrácii modelov použil modifikáciu Metódy dynamických váh, ktorá zavádza nový spôsob váhovania s aplikáciou postupných zmien. Dôležitou súčasťou práce je aj skúmanie schopností rôznych biologicky inšpirovaných algoritmov zvýšiť predikčnú schopnosť modelu učenia súborom metód v situáciách, keď sa v dátach objavujú nepredvídateľné zmeny (tzv. concept drifts). Navrhnutá metóda predikcie má zlepšenú schopnosť reagovať na tieto neočakávané zmeny a dosahuje zvýšenú presnosť pri porovnaní s bežne používanými metódami. Treba podotknúť, že v doméne energetiky, v ktorej Marek overoval svoju metódu, znamená aj malé zvýšenie presnosti predikcie veľké úspory.  Výsledky práce majú širšie využitie pre riešenie zložitých predikčných úloh na časových radoch pri výskyte rôznych typov konceptového driftu.

Marek je členom nášho Data Analytics for Green Energy tímu.

Práca sa zaoberá témou učenia s prenosom (transfer learning) v oblasti spracovania prirodzeného jazyka, ktoré adresuje problém nedostatku dostupných dát pri strojovom učení s využitím neurónových modelov. Hlavnou ideou je využitie dát, ktoré máme k dispozícii z iných jazykov alebo iných úloh spracovania jazyka, na natrénovanie modelov, pre ktoré dáta chýbajú. Napr. pomocou prenosu “znalostí” z anglického modelu pre analýzu sentimentu dokážeme vytvoriť model pre detekciu nenávistného prejavu v slovenčine. Matúš v práci priniesol niekoľko poznatkov. V rámci realizovanej štúdie formalizoval učenie s prenosom medzi jazykmi a identifikoval hlavné paradigmy prenosu, tzn. mechanizmy či princípy, ako môže k prenosu pri učení dochádzať. V rámci svojich experimentov objavil tzv. prepájacie modely, ktoré v rámci učenia prinášajú regularizačný efekt – pomáhajú zlepšiť celkovú úspešnosť riešenia úlohy. Výsledky dizertačnej práce majú veľký potenciál v praxi najmä pre málo rozšírené jazyky, akým je napr. aj slovenčina, kde chýba dostatok dostupných jazykových zdrojov na učenie.

Matúš je členom nášho Natural Language Processing tímu.