Letná škola od DeepMind: ak pracujete v oblasti strojového učenia, nenechajte si ju ujsť

Matej Čief je jedným z našich doktorandov. Je členom tímu Web & User Data Processing, kde sa venuje odporúčacím systémom. Začiatkom leta sa Matej zúčastnil na letnej škole EEML. Prečítajte si o jeho zážitkoch.

Toto leto som mal možnosť zúčastniť sa 4. ročníka Východoeurópskej letnej školy strojového učenia. Vďaka účastníkom z celého sveta bolo veľmi pravdepodobné, že na nej stretnete niekoho s rovnakými záujmami. Priletel som do Vilniusu, hlavného mesta Litvy, zúčastnil som sa tejto letnej školy a teraz sa s vami podelím o niekoľko postrehov.

Letnú školu organizovala spoločnosť DeepMind a prednášali na nej experti spoločností Google, OpenAI, Microsoft, MIT, Harvard, Oxford a mnohých ďalších svetoznámych organizácií. Témy mail široký záber – od hlbokého učenia a vysvetliteľnosť až po kauzalitu, Bayesovskú štatistiku a učenie posilňovaním. Mohli ste si vypočuť prednášku od tvorcu DALL·E 2 alebo sa dozvedieť viac o čoraz populárnejších grafových neurónových sieťach od vedca Thomasa Kipfa z Google Research. Mňa najviac oslovil perfektný tutoriál o kauzalite.

Začnime najdôležitejšou a zároveň najzaujímavejšou časťou celého podujatia – spoznávanie nových podobne zmýšľajúcich ľudí. Ľudia tu boli nielen inteligentní, ale aj mimoriadne múdri, cieľavedomí, rozhľadení a naozaj zábavní. 

Stretol som doktorandov zo špičkových univerzít, ako sú Stanford a Cambridge, s prepojením na firmy a inštitúty, ako napr. Criteo alebo The Institute of Cancer Research. 

Nie všetci účastníci však boli doktorandi. Boli tam manažéri, ktorí sa chcú robiť dátovú vedu, inžinieri strojového učenia (machine learning engineers) a dokonca aj vysokoškoláci, ktorí sa zaujímajú o strojové učenie. Networking je jedným z najlepších spôsobov, ako sa dostať do novej oblasti.

Chcel by som opísať niekoľko stretnutí, ktoré ma veľmi ovplyvnili. 

Venujem sa výskumu v oblasti off-policy optimalizácie odporúčacích systémov. Stretol som sa s Houssamom. Houssam robí doktorát v spoločnosti Criteo a pracuje v oblasti offline a online banditov. V súčasnosti je v treťom ročníku a podľa Google Scholar má viac ako 1000 citácií. Opýtal sa ma: „A čo ty, Matej? Na čom pracuješ?“ Potichu som zašepkal „Offline banditi“, nervózny z toho, že mám pred sebou oveľa úspešnejšieho výskumníka v rovnakej oblasti. Ale Houssam bol z toho úplne nadšený. „Naozaj? Povedz mi viac!“ Potom sme sa celý obed rozprávali o našej práci, vzišlo z toho veľa zaujímavých nápadov a možno budeme v budúcnosti spolupracovať.

Ďalší podnetný rozhovor som mal s Filipom. Filip získal doktorát v matematike na Cambridge, v teórii kategórií. Teraz je učiteľom matematiky a fyziky na strednej škole severne od Londýna, kam ako dieťa chodil Stephen Hawking. Mám technické vzdelanie a vo svojom výskume sa niekedy trápim s matematikou. 

Filip mi dal niekoľko naozaj užitočných tipov, ktoré mi pomôžu v situáciách, keď náhle potrebujem pochopiť matematiku presahujúcu moje technické vzdelanie. Filip mi vysvetlil, že ide skôr o rozvíjanie intuície, netreba ísť hlboko do technických detailov väčšiny záležitostí. Dôležité je pochopiť princípy, ktoré matematika prináša. Tiež je podstatné mať na pamäti konkrétne aplikácie a používať ich ako základ, pretože samotná matematika je celkom abstraktná. 

Ďalšou praktickou radou bolo nečítať celé učebnice. V mojom prípade by to bolo neefektívne a väčšinu by som pravdepodobne aj tak zabudol. Na vysvetlenie neznámych pojmov sú lepšie videá na YouTube ako Wikipédia.

Nakoniec som sa zoznámil s Matejom – jeho meno sa píše sa rovnako ako moje, ale vyslovuje sa inak. Matej je študentom 2. ročníka doktorandského štúdia na TU Darmstadt. Pozitívna energia a nadšenie, ktoré má takmer pre čokoľvek, ma privádzajú k tomu, aby som si vážil to, čo mám. Aké máme šťastie, že žijeme na tomto svete, koľko príležitostí máme a môžeme robiť to, čo nás naozaj baví. 

Organizátori boli jednoducho úžasní. Prednášky boli na špičkovej úrovni, mali sme veľa času na diskusie a otázky. Medzi prednáškami bol čas na občerstvenie a interakciu s ostatnými účastníkmi. 

Okrem prednášok sme mali aj “poster sessions”, kde som aj ja prostredníctvom plagátu prezentoval môj výskum Off-policy Learning for Structured Recommendations. Na programe boli aj semináre, paper reading semináre a panelové diskusie na zaujímavé témy, ako napríklad kariérne odporúčania v oblasti strojového učenia. 

Takmer každý deň sa organizoval aj večerný program, napríklad prehliadka so sprievodcom alebo banket. Ak si chcete prečítať viac o programe, podrobnosti nájdete na tejto stránke.

Celkovo to bol jeden z najlepších zážitkov môjho života. Vidieť toľko skvelých mladých ľudí, ktorí sú živým príkladom toho, ako veľa sa dá dosiahnuť, mi otvorilo oči. Z letnej školy som odchádzal s novými priateľmi, vedomosťami, motiváciou a nápadmi. Tiež som si rozšíril sieť potenciálnych budúcich spoluprác. 

Ak sa zaujímate o strojové učenie na akejkoľvek úrovni alebo pozícii, toto podujatie musíte zažiť. Sledujte EEML Twitter, aby ste nezmeškali ďalší ročník.