Letná škola strojového učenia v Košiciach: Týždeň obohacujúcich poznatkov a networkingu

Východoeurópska letná škola strojového učenia (EEML) je prestížnym podujatím, ktoré láka mladých výskumníkov a odborníkov z oblasti umelej inteligencie z celej strednej a východnej Európy. Táto intenzívna a interaktívna letná škola poskytuje účastníkom jedinečnú príležitosť učiť sa od svetových expertov v rôznych disciplínach strojového učenia. Tento rok sa jej v Košiciach zúčastnili aj naši PhD študenti. V tomto článku si môžete prečítať ich postrehy a zážitky z tohto unikátneho podujatia.

Letná škola odštartovala pútavou prednáškou o hlbokom učení, ktorú prezentoval výskumník spoločnosti DeepMind, Razvan Pascanu. Matej Čief ocenil, že prednáška si užili nováčikovia aj experti, ale venoval by viac času na detailnejšie preskúmanie tejto témy. 

Patrik Goldschmidt vyzdvihol vynikajúcu prezentáciu Jany Koseckej o počítačovom videní, ktorá zahrnula všetko od základov až po najmodernejšie techniky. 

Popoludní sa účastníci zapojili do cvičení, v ktorých prakticky využili framework JAX a tiež absolvovali úvod do grafových neurónových sietí. Prestávky na kávu a obed poskytli dostatok príležitostí na nadviazanie kontaktov medzi doktorandmi a odborníkmi z praxe, ktorí hľadali príležitosti na spoluprácu v oblasti výskumu. 

Na záver dňa sa účastníci mohli zúčastniť večere s welcome drinkom v miestnom bare a budovať tak vzťahy pred prvou poster session naplánovanou na ďalší deň.

Druhý deň vyzdvihol Branislav Pecher inšpiratívnu a podnetnú prednášku o federatívnom učení od Petra Richtárika. Účastníci sa aktívne zapájali do diskusií o najnovšom vývoji v oblasti lokálneho trénovania a jeho potenciálnych aplikáciách. Popoludňajší program sa venoval učeniu posilňovaním s prednáškou Michala Valka o sebakontrole v obrazových dátach pomocou metódy BYOL. Táto jednoduchá metóda nevyžaduje žiadne negatívne vzorky (pretože definovanie opaku „pes“ či „antipes“ môže byť náročné) a operuje na úrovni vloženia. V kontexte učenia posilňovaním umožňuje táto metóda zvedavým agentom efektívne preskúmať rôzne oblasti a úlohy, čo sa využíva najmä v hrách ATARI.

Večer sa konala prvá poster session, na ktorej mohli účastníci letnej školy prezentovať a diskutovať o svojej práci. Tento bod programu bol veľmi podnetný, najmä vďaka networkingovým možnostiam s ostatnými účastníkmi a študentmi.

Tretí deň zaujala Ivanu Beňovú prezentácia od Orhana Firata, jedného z autorov najmodernejšieho jazykového modelu od Google, PaLM 2. Počas tejto prednášky sa účastníci venovali procesu predtrénovania modelu a jeho výnimočnému výkonu vo viacjazyčnom odôvodňovaní vo viac ako 100 jazykoch alebo kódovaní. Zaujalo ju zistenie, že model dosiahol lepšie výsledky napriek tomu, že mal výrazne menej parametrov než predchádzajúce modely. To bolo možné vďaka starostlivému vyberu veľkosti a zmiešaniu dátového súboru, čo ho efektívne škálovalo na veľkosť modelu. 

Rastislav Papšo zdôraznil kľúčový okamih popoludňajšieho programu – prednášku Yoshuu Bengia o budúcnosti umelej inteligencie. Prednášajúci hovoril o obrovskom potenciáli umelej inteligencie. Nezabudol zmieniť aj kritické hrozby, ktoré so sebou táto technológia prináša, čo primälo účastníkov zamyslieť sa a vyvolalo podnetnú diskusiu. 

Deň sa skončil druhou poster session, kde mali účastníci ďalšiu príležitosť prezentovať svoju prácu, zapojiť sa do zmysluplných diskusií a nadviazať spolupráce do budúcnosti.

Štvrtý deň začal sériou diskusií o startupoch, nasledovala prednáška od spoločnosti ESET a diskusia na tému bezpečnosti, ktorá zahrňovala tématické okruhy ako budúcnosť bezpečnosti a strojové učenie v bezpečnosti. Santiaga de Leona a Ivana Agarského oslovila prednáška Ferenca Huszára o hlbokom učení, ktorá poskytla komplexný prehľad o neurónových sieťach a optimalizačnom procese s využitím stochastického gradientového zostupu. Obaja ocenili, ako prednášajúci šikovne viedol účastníkov a tiež jeho názory na generalizovateľnosť neurónových sietí a to, ako zdôraznil potreby úplne nových teórií a nápadov na riešenie tohto problému. Santiagovi sa páčila aj aktivita na konci dňa, keď sa účastníci rozdelili do skupín a spoločne sa zúčastnili hry „escape-room,“ čo im poskytlo možnosť posilniť vzájomné vzťahy.

Piaty deň EEML začal témou tenzorového paralelizmu pod vedením Wojciecha Stokowieca. Martin Mocko ocenil, ako ich prednášajúci oboznámil s metódou rozdeľovania dát a parametrov modelu medzi viacero spracovateľských jednotiek, čo umožnilo efektívne paralelné výpočty. 

Neskôr oslovila účastnikov prednáška Andriya Mniha o generatívnych modeloch, konkrétne o difúznych modeloch. 

Petrovi Pavlíkovi sa páčila prednáška o robotike od Ankura Handu. Ocenil, ako prednáška upriamila pozornosť na výzvy ktoré so sebou prináša trénovanie umelej inteligencie na interakciu s fyzickým svetom. Pozitívne hodnotil aj Iru Korshunovú za jej hodnotný úvod do témy difúzie. 

Na záver dňa sa konala slávnostná večera v košickom Kulturparku, kde dostala Ivana Beňová jedno z ocenení Najlepší poster za vynikajúcu posterovú prezentáciu. 

Šiesty deň sa Martinovi veľmi páčila prednáška El Mahdiho El Mhamdiho o bezpečnosti umelej inteligencie. Vyzdvihol, ako prednášajúci jasne vysvetlil, že výskum útokov na modely má významný prínos a môže sa realizovať hneď teraz, napríklad pomocou „byzantských útokov“ na odporúčacie modely, ktoré sa bežne používajú v populárnych sociálnych médiách. 

Následne Viorica Patraucean predstavila publiku niekoľko úspešných projektov umelej inteligencie od DeepMind, ktoré sa týkajú napríklad skladania proteínov a hodnotenia multimodálnych úloh. Virginia Aglietti neskôr priblížila koncept kauzálneho rozhodovania, ktorý podnecuje inteligentných agentov k tomu, aby sa učili zmysluplné akcie a zároveň zvažovali kauzálne vzťahy vo svojom prostredí. Prezentácie študentských projektov vyvolali diskusiu a podnietili kreativitu a spoluprácu medzi účastníkmi. Záverečná reč od Razvana Pascanua urobila dojem na všetkých účastníkov a ukončila bohatý a nezabudnuteľný týždeň na Letnej škole EEML.

Východoeurópska letná škola strojového učenia bola týždňom plným cenných poznatkov a príležitostí na nadviazanie kontaktov. Branislav Pecher ocenil príspevky renomovaných odborníkov ako Razvan Pascanu, Jana Kosecka, Peter Richtárik, Michal Valko a Yoshua Bengio, ktorí zdieľali svoje rôznorodé vedomosti. Páčilo sa mu, že prednášajúci pokryli široké spektrum tém, čo rozšírio znalosti účastníkov v rôznych oblastiach. Študenti sa zaoberali základmi hlbokého učenia, spracovania prirodzeného jazyka a učenia posilňovaním, no súčasne sa venovali aj pokročilejším témam, ako je vnútorné fungovanie hlbokých neurónových sietí, etické a bezpečnostné aspekty neurónových sietí a možné budúce vývoje v týchto oblastiach. 

Branislav vyzdvihol aj networkingové príležitosti, na ktorých mohli účastníci diskutovať počas posterových prezentácií a prestávok medzi prednáškami s prednášajúcimi a kolegami o svojich myšlienkach a nápadoch. Tieto interakcie poskytli nové pohľady na súčasné výzvy a poslúžili dokonca ako inšpirácia pre nové prístupy ich riešení.

Všetci účastníci sa zhodli, že letná škola bola vynikajúcim podujatím a cennou príležitosťou a dúfajú, že sa zúčastnia aj v budúcnosti. 

Sme veľmi vďační EEML za zorganizovanie tohto fantastického podujatia. Bol to skutočne výnimočný zážitok, ktorý nám priniesol neoceniteľné poznatky a mnoho nových kontaktov. Ďakujeme organizátorom za to, že na Slovensko priviedli špičkových expertov na umelú inteligenciu svetovej úrovne, chceli by sme sa poďakovať najmä: