Hlboké učenie a stretnutie so školiteľkou na EEML

Tento júl sa v malebnom Slovenskom meste Košice konala východoeurópska letná škola strojového učenia (EEML). Na túto udalosť sme sa veľmi tešili, keďže sme sa ako doktorandi z Bratislavy mohli tento rok zúčastniť na tomto podujatí osobne. Letná škola EEML nám poskytla jedinečnú príležitosť preniknúť do sveta hlbokého učenia a stretnúť sa s jedným z našich externých mentorov, Janou Košeckou. V tomto článku vám porozprávame naše skúsenosti a poznatky.

Letná škola EEML je podujatie, ktoré už roky spája nadšencov v oblasti strojového učenia, či už sa jedná o študentov, výskumníkov a odborníkov nielen z východnej Európy, ale aj zo západu. S nabitým programom a výbornými rečníkmi sa od nej ani tento rok nedalo očakávať nič iné, ako excelentný zážitok.

Prvý deň letnej školy sa začal sériou prednášok, ktoré pripravili pôdu pre vzrušujúci týždeň učenia. 

Razvan Pascanu mal vynikajúcu prednášku o základoch hlbokého učenia. Keďže je  významným výskumníkom v tejto oblasti, svojou odbornosťou a pútavým štýlom prezentácie ozrejmil komplexné koncepty každému, od začiatočníkov po pokročilých výskumníkov. Oslovili nás jeho pohľady na neurónové siete, poháňajúce mnohé AI aplikácie, s ktorými sa každodenne stretávame. Začal s jednoduchými a základnými konceptmi umelej inteligencie a strojového učenia, na ktorých neskôr postavil teóriu pre modely strojového a hlbokého učenia, ktoré sú v dnešnej dobe často využívané.

Rastislav Papšo: 

“Bol som prekvapený, akým efektívnym spôsobom Razvan vysvetlil ťažké a zložité koncepty, ako napríklad teória optimalizácie alebo fungovanie neurónových sietí. Jeho výklad bol tak intuitívny, že aj ľudia s veľmi malými znalosťami v danej oblasti sa po prednáške cítili ako odborníci. Na začiatku spomenul, že strojové a hlboké učenie nie sú nič iné, ako aplikovaná štatistika a lineárna algebra. Na tento základ ďalej nadviazal, keď vysvetľoval, ako sa tieto matematické koncepty dajú využiť pri tvorbe nástrojov hlbokého učenia, ktoré používame v každodennom živote (áno, ChatGPT, hovorím o tebe). Osobne si myslím, že táto prednáška bola určite vrcholom dňa.”

Ivana Beňová: 

“Pre mňa bola vrcholom dňa, dokonca možno celej letnej školy,  jednoznačne prednáška profesorky Jany Košeckej. Na letnú školu prišla až z Virgínie (USA), aby sa s nami podelila o svoje odborné znalosti v oblasti počítačového videnia. Keďže ako profesorka na George Mason University má bohaté skúsenosti s prednášaním, jej prezentácia bola nielen informatívna, ale aj výborne štruktúrovaná. Podľa mňa priblížila tému aj študentom, ktorí boli vo svete počítačového videnia noví.

Samotná prednáška poskytla komplexný prehľad rôznych aspektov počítačového videnia, zoradených v logickej časovej postupnosti. Profesorka Košecká začala hlbšie skúmať úlohu klasifikácie obrázkov. Táto úloha zahŕňa zaradenie obrázkov do preddefinovaných tried na základe ich obsahu. Tieto triedy môžu byť, napríklad, rôzne druhy zvierat, rôzne prostredia, ako sú knižnice alebo oltáre, ale aj konkrétne objekty, ako notebooky alebo rúže. Významný prelom v klasifikácii obrázkov prišiel s nástupom hlbokých učiacich sa sietí, najmä teda konvolučných sietí.

V rámci prednášky sme sa venovali detekcii a lokalizácii objektov. Táto výzva vznikla, pretože skutočné obrázky často obsahujú viacero objektov –  klasifikácia obrázkov teda nie je dostačujúca na zachytenie komplexnosti reálnych scenárov. Hlavným cieľom je nielen identifikovať všetky objekty na obrázku, ale aj ich nájsť, ohraničiť ich polohu na obrázku pomocou obdĺžnika (vytvoriť tzv “bounding box”) a správne ich klasifikovať. Profesorka Košecká tiež predstavila modely R-CNN, Fast R-CNN a Faster R-CNN a ich výkonnosti.”

V nasledujúcej časti prednášky sme sa stručne zamysleli nad nadstavbou detekcie objektov, čo zodpovedá sémantickej segmentácii. Cieľom tejto úlohy je detekcia objektov na úrovni pixelov, čo zahŕňa identifikáciu a zoskupenie segmentov obrázka, ktoré spoločne tvoria jednotlivé objekty. Okrem toho nás profesorka Košecká zoznámila s menej známymi, ale rovnako zaujímavými úlohami, ako je kolorizovanie čiernobielych obrázkov a predpovedanie rotácie.

K záveru prednášky profesorka Košecká zdôraznila, prečo je dôležité sa v oblasti počítačového videnia sústrediť práve na konkrétne úlohy. Poznatky získané výhradne z obrázkov sa často využívajú pri skúmaní multimodálnych vstupov, napríklad v prípade dát spojených s obrazom a jazykom. Táto kombinácia rôznych spôsobov vnímania sa považuje za budúcnosť hlbokého učenia a umelej inteligencie.

Prednáška profesorky Košeckej prehĺbila moje poznatky v oblasti počítačového videnia a inšpiratívnym spôsobom priblížila rôzne úlohy a výzvy v tomto dynamickom odbore. Jej odbornosť a zaujímavý spôsob výkladu zanechali nezabudnuteľný dojem a jej vedomosti určite ovplyvnia náš budúci výskum.” 

Ďalším zážitkom prvého dňa bol tutoriál Pavola Drotára na “Supervised Learning” s JAX.  JAX je otvorená knižnica na numerické výpočty a Pavlov tutoriál nám predviedol jej schopnosti v kontexte úloh v strojovom učení.

Ivana Beňová:

“S dobre štruktúrovanou sériou poznámkových blokov v jazyku Python nás Pavol previedol rámcom JAX. Vysvetlil ho nielen začiatočníkom, ale aj tým, ktorí už boli oboznámení so strojovým učením. Obzvlášť cenné bolo to, že tieto poznámkové bloky zverejnil na platforme GitHub, čím nám umožnil pokračovať v učení aj po skončení letnej školy.

Jednotlivé cvičenia v tutoriále začínali základnými úlohami, ako je načítanie dátových sád a vytvorenie jednoduchých modelov lineárnej regresie. Pokračovali k zložitejším výzvam, ako je trénovanie hlbokých učiacich sa sietí. Toto nám umožnilo postupne rozvíjať naše schopnosti v JAXe. 

V tutoriále bola tiež zahrnutá diskusia o výhodách a nevýhodách PyTorch a JAX. Zatiaľ čo PyTorch je známy pre svoje jednoduché používateľské rozhranie a rozsiahlu podporu knižníc, JAX vyniká svojou schopnosťou automatického diferencovania v jazyku Python a svojou flexibilitou pre akceleráciu na GPU a TPU. Tutoriál nám poskytol informácie, ako si vzhľadom na špecifické požiadavky našej výskumnej práce vybrať vhodný rámec pre naše projekty strojového učenia. Táto prednáška nás obohatila o nové poznatky a nástroje, ktoré môžeme ďalej využiť v našom výskume.”

Rastislav Papšo:

“Po náročnom prvom dni plnom prednášok sme sa presunuli do kultúrneho centra Tabačka, kde sme si na chviľku oddýchli pri welcome drinkoch. Takéto spoločenské udalosti sú skvelá príležitosť na spoznávanie nových ľudí. Taktiež sa na nich môžeme stretnúť s prednášajúcimi a porozprávať sa aj o neformálnych témach. Dostali sme možnosť stretnúť sa s legendárnymi výskumníkmi, ako sú Peter Richtárik z King Abdullah University of Science and Technology, Jana Košecká z George Mason University, či Razvan Pascanu a Michal Valko z Deepmind. Príjemné letné počasie ešte posilnilo príjemnú atmosféru a my sme mohli veselo komunikovať s úžasnými ľuďmi z celého sveta a rozoberať aktuálne trendy v umelej inteligencii.” 

Letná škola EEML nebola len o prednáškach a tutoriáloch; bola tiež o budovaní nových vzťahov a posilňovaní tých existujúcich. Napríklad naša doktorandka Ivana Beňová mala príležitosť stretnúť sa so svojou externou mentorkou Janou Košeckou.

Ivana Beňová:

“Na letnej škole som zažila druhé osobné stretnutie s Janou Košeckou. Bol to výnimočný moment, pretože obvykle komunikujeme ibe online. Osobne sme sa kvôli vzdialenosti stretli len raz, minulý rok v lete. Stretnutie v Košiciach mi pripomenulo, akú hodnotu má osobná interakcia v čoraz digitálnejšom svete. Okrem výskumných tém sme sa porozprávali aj o živote, našich túžbach a skúsenostiach. Takéto osobné interakcie často vedú k novým nápadom a spoluprácam, preto je letná škola významná udalosť pre každého študenta, ktorý sa uchádza o titul PhD.” 

Letná škola EEML znamená viac ako len príležitosť na učenie; predstavuje priestor na networking, mentoring a osobný rast. Tu je niekoľko dôvodov, prečo je Letná škola EEML dôležitá:

Naša skúsenosť na Letnej škole EEML bola prelomová. Ponorili sme sa do sveta hlbokého učenia, prehĺbili sme naše porozumenie vo výskumnom obore a mali sme česť stretnúť sa s našimi externými mentormi, Janou Košeckou a Petrom Richtárikom. Letná škola nám pripomenula dôležitosť osobných interakcií v čoraz virtuálnejšom svete a zanechala v nás úžasné spomienky a nové poznatky.

Ak ste študentom alebo výskumníkom s vášňou pre strojové učenie, odporúčame vám sledovať Letnú školu EEML. Ide o viac než len školu; je to príležitosť zoznámiť sa, učiť sa a rásť vo fascinujúcom svete umelej inteligencie a strojového učenia.