{"id":29512,"date":"2023-11-09T11:43:20","date_gmt":"2023-11-09T10:43:20","guid":{"rendered":"https:\/\/kinit.sk\/eeml-deep-learning-course-or-meet-greet-your-supervisor\/"},"modified":"2023-11-09T11:50:53","modified_gmt":"2023-11-09T10:50:53","slug":"eeml-hlboke-ucenie-a-stretnutie-so-skolitelkou","status":"publish","type":"post","link":"https:\/\/kinit.sk\/sk\/eeml-hlboke-ucenie-a-stretnutie-so-skolitelkou\/","title":{"rendered":"Hlbok\u00e9 u\u010denie a stretnutie so \u0161kolite\u013ekou na EEML"},"content":{"rendered":"
\n

Tento j\u00fal sa v malebnom Slovenskom meste Ko\u0161ice konala v\u00fdchodoeur\u00f3pska letn\u00e1 \u0161kola strojov\u00e9ho u\u010denia (<\/em>EEML<\/em><\/a>). Na t\u00fato udalos\u0165 sme sa ve\u013emi te\u0161ili, ke\u010f\u017ee sme sa ako doktorandi z Bratislavy mohli tento rok<\/em> z\u00fa\u010dastni\u0165 na tomto podujat\u00ed osobne.<\/em><\/a> Letn\u00e1 \u0161kola EEML n\u00e1m poskytla jedine\u010dn\u00fa pr\u00edle\u017eitos\u0165 prenikn\u00fa\u0165 do sveta hlbok\u00e9ho u\u010denia a stretn\u00fa\u0165 sa s jedn\u00fdm z na\u0161ich extern\u00fdch mentorov, <\/em>Janou Ko\u0161eckou.<\/em><\/a> V tomto \u010dl\u00e1nku v\u00e1m porozpr\u00e1vame na\u0161e sk\u00fasenosti a poznatky.<\/em><\/p>\n<\/div>\n\n

\n

Z\u00e1\u017eitky z Letnej \u0160koly EEML<\/h3>\n<\/div>\n\n
\n

Letn\u00e1 \u0161kola EEML je podujatie, ktor\u00e9 u\u017e roky sp\u00e1ja nad\u0161encov v oblasti strojov\u00e9ho u\u010denia, \u010di u\u017e sa jedn\u00e1 o \u0161tudentov, v\u00fdskumn\u00edkov a odborn\u00edkov nielen z v\u00fdchodnej Eur\u00f3py, ale aj zo z\u00e1padu. S nabit\u00fdm programom a v\u00fdborn\u00fdmi re\u010dn\u00edkmi sa od nej ani tento rok nedalo o\u010dak\u00e1va\u0165 ni\u010d in\u00e9, ako excelentn\u00fd z\u00e1\u017eitok.<\/p>\n<\/div>\n\n

\n

Ponorenie sa do Hlbok\u00e9ho U\u010denia<\/h3>\n<\/div>\n\n
\n

Prv\u00fd de\u0148 letnej \u0161koly sa za\u010dal s\u00e9riou predn\u00e1\u0161ok, ktor\u00e9 pripravili p\u00f4du pre vzru\u0161uj\u00faci t\u00fd\u017ede\u0148 u\u010denia.\u00a0<\/p>\n<\/div>\n\n

\n
\"\"
\u00davod do Hlbok\u00e9ho U\u010denia od Razvana Pascanu.<\/figcaption><\/figure>\n<\/div>\n\n
\n

Razvan Pascanu mal vynikaj\u00facu predn\u00e1\u0161ku o z\u00e1kladoch hlbok\u00e9ho u\u010denia. Ke\u010f\u017ee je  v\u00fdznamn\u00fdm v\u00fdskumn\u00edkom v tejto oblasti, svojou odbornos\u0165ou a p\u00fatav\u00fdm \u0161t\u00fdlom prezent\u00e1cie ozrejmil komplexn\u00e9 koncepty ka\u017ed\u00e9mu, od za\u010diato\u010dn\u00edkov po pokro\u010dil\u00fdch v\u00fdskumn\u00edkov. <\/strong>Oslovili n\u00e1s jeho poh\u013eady na neur\u00f3nov\u00e9 siete, poh\u00e1\u0148aj\u00face mnoh\u00e9 AI aplik\u00e1cie, s ktor\u00fdmi sa ka\u017edodenne stret\u00e1vame. Za\u010dal s jednoduch\u00fdmi a z\u00e1kladn\u00fdmi konceptmi umelej inteligencie a strojov\u00e9ho u\u010denia, na ktor\u00fdch nesk\u00f4r postavil te\u00f3riu pre modely strojov\u00e9ho a hlbok\u00e9ho u\u010denia, ktor\u00e9 s\u00fa v dne\u0161nej dobe \u010dasto vyu\u017e\u00edvan\u00e9.<\/p>\n<\/div>\n\n

\n

Rastislav Pap\u0161o: <\/p>\n<\/div>\n\n

\n

\u201cBol som prekvapen\u00fd, ak\u00fdm efekt\u00edvnym sp\u00f4sobom Razvan vysvetlil \u0165a\u017ek\u00e9 a zlo\u017eit\u00e9 koncepty, ako napr\u00edklad te\u00f3ria optimaliz\u00e1cie alebo fungovanie neur\u00f3nov\u00fdch siet\u00ed. Jeho v\u00fdklad bol tak intuit\u00edvny, \u017ee aj \u013eudia s ve\u013emi mal\u00fdmi znalos\u0165ami v danej oblasti sa po predn\u00e1\u0161ke c\u00edtili ako odborn\u00edci.<\/em><\/strong> Na za\u010diatku spomenul, \u017ee strojov\u00e9 a hlbok\u00e9 u\u010denie nie s\u00fa ni\u010d in\u00e9, ako aplikovan\u00e1 \u0161tatistika a line\u00e1rna algebra. Na tento z\u00e1klad \u010falej nadviazal, ke\u010f vysvet\u013eoval, ako sa tieto matematick\u00e9 koncepty daj\u00fa vyu\u017ei\u0165 pri tvorbe n\u00e1strojov hlbok\u00e9ho u\u010denia, ktor\u00e9 pou\u017e\u00edvame v ka\u017edodennom \u017eivote (\u00e1no, ChatGPT, hovor\u00edm o tebe). Osobne si mysl\u00edm, \u017ee t\u00e1to predn\u00e1\u0161ka bola ur\u010dite vrcholom d\u0148a.\u201d<\/em><\/p>\n<\/div>\n\n

\n
\"\"
Predn\u00e1\u0161ka o po\u010d\u00edta\u010dovom viden\u00ed od Jany Ko\u0161eckej<\/figcaption><\/figure>\n<\/div>\n\n
\n

Ivana Be\u0148ov\u00e1: <\/p>\n<\/div>\n\n

\n

\u201cPre m\u0148a bola vrcholom d\u0148a, dokonca mo\u017eno celej letnej \u0161koly,  jednozna\u010dne predn\u00e1\u0161ka profesorky Jany Ko\u0161eckej. Na letn\u00fa \u0161kolu pri\u0161la a\u017e z Virg\u00ednie (USA), aby sa s nami podelila o svoje odborn\u00e9 znalosti v oblasti po\u010d\u00edta\u010dov\u00e9ho videnia. Ke\u010f\u017ee ako profesorka na George Mason University m\u00e1 bohat\u00e9 sk\u00fasenosti s predn\u00e1\u0161an\u00edm, <\/em>jej prezent\u00e1cia bola nielen informat\u00edvna, ale aj v\u00fdborne \u0161trukt\u00farovan\u00e1. Pod\u013ea m\u0148a pribl\u00ed\u017eila t\u00e9mu aj \u0161tudentom, ktor\u00ed boli vo svete po\u010d\u00edta\u010dov\u00e9ho videnia nov\u00ed.<\/em><\/strong><\/p>\n<\/div>\n\n

\n

Samotn\u00e1 predn\u00e1\u0161ka poskytla komplexn\u00fd preh\u013ead r\u00f4znych aspektov po\u010d\u00edta\u010dov\u00e9ho videnia, zoraden\u00fdch v logickej \u010dasovej postupnosti. Profesorka Ko\u0161eck\u00e1 za\u010dala hlb\u0161ie sk\u00fama\u0165 \u00falohu klasifik\u00e1cie obr\u00e1zkov. T\u00e1to \u00faloha zah\u0155\u0148a zaradenie obr\u00e1zkov do preddefinovan\u00fdch tried na z\u00e1klade ich obsahu. Tieto triedy m\u00f4\u017eu by\u0165, napr\u00edklad, r\u00f4zne druhy zvierat, r\u00f4zne prostredia, ako s\u00fa kni\u017enice alebo olt\u00e1re, ale aj konkr\u00e9tne objekty, ako notebooky alebo r\u00fa\u017ee. V\u00fdznamn\u00fd prelom v klasifik\u00e1cii obr\u00e1zkov pri\u0161iel s n\u00e1stupom hlbok\u00fdch u\u010diacich sa siet\u00ed, najm\u00e4 teda konvolu\u010dn\u00fdch siet\u00ed.<\/em><\/p>\n<\/div>\n\n

\n

V r\u00e1mci predn\u00e1\u0161ky sme sa venovali detekcii a lokaliz\u00e1cii objektov. T\u00e1to v\u00fdzva vznikla, preto\u017ee skuto\u010dn\u00e9 obr\u00e1zky \u010dasto obsahuj\u00fa viacero objektov –  klasifik\u00e1cia obr\u00e1zkov teda nie je dosta\u010duj\u00faca na zachytenie komplexnosti re\u00e1lnych scen\u00e1rov. Hlavn\u00fdm cie\u013eom je nielen identifikova\u0165 v\u0161etky objekty na obr\u00e1zku, ale aj ich n\u00e1js\u0165, ohrani\u010di\u0165 ich polohu na obr\u00e1zku pomocou obd\u013a\u017enika (vytvori\u0165 tzv \u201cbounding box\u201d) a<\/em> <\/em>spr\u00e1vne ich klasifikova\u0165. Profesorka Ko\u0161eck\u00e1 tie\u017e predstavila modely R-CNN, Fast R-CNN a Faster R-CNN a ich v\u00fdkonnosti.\u201d<\/em><\/p>\n<\/div>\n\n

\n

V nasleduj\u00facej \u010dasti predn\u00e1\u0161ky sme sa stru\u010dne zamysleli nad nadstavbou detekcie objektov, \u010do zodpoved\u00e1 s\u00e9mantickej segment\u00e1cii. Cie\u013eom tejto \u00falohy je detekcia objektov na \u00farovni pixelov, \u010do zah\u0155\u0148a identifik\u00e1ciu a zoskupenie segmentov obr\u00e1zka, ktor\u00e9 spolo\u010dne tvoria jednotliv\u00e9 objekty. Okrem toho n\u00e1s profesorka Ko\u0161eck\u00e1 zozn\u00e1mila s menej zn\u00e1mymi, ale rovnako zauj\u00edmav\u00fdmi \u00falohami, ako je kolorizovanie \u010diernobielych obr\u00e1zkov a predpovedanie rot\u00e1cie.<\/em><\/p>\n<\/div>\n\n

\n

K z\u00e1veru predn\u00e1\u0161ky profesorka Ko\u0161eck\u00e1 zd\u00f4raznila, pre\u010do je d\u00f4le\u017eit\u00e9 sa v oblasti po\u010d\u00edta\u010dov\u00e9ho videnia s\u00fastredi\u0165 pr\u00e1ve na konkr\u00e9tne \u00falohy. Poznatky z\u00edskan\u00e9 v\u00fdhradne z obr\u00e1zkov sa \u010dasto vyu\u017e\u00edvaj\u00fa pri sk\u00faman\u00ed multimod\u00e1lnych vstupov, napr\u00edklad v pr\u00edpade d\u00e1t spojen\u00fdch s obrazom a jazykom. T\u00e1to kombin\u00e1cia r\u00f4znych sp\u00f4sobov vn\u00edmania sa pova\u017euje za bud\u00facnos\u0165 hlbok\u00e9ho u\u010denia a umelej inteligencie.<\/em><\/p>\n<\/div>\n\n

\n

Predn\u00e1\u0161ka profesorky Ko\u0161eckej preh\u013abila moje poznatky v oblasti po\u010d\u00edta\u010dov\u00e9ho videnia a in\u0161pirat\u00edvnym sp\u00f4sobom pribl\u00ed\u017eila r\u00f4zne \u00falohy a v\u00fdzvy v tomto dynamickom odbore.<\/em><\/strong> Jej odbornos\u0165 a zauj\u00edmav\u00fd sp\u00f4sob v\u00fdkladu zanechali nezabudnute\u013en\u00fd dojem a jej vedomosti ur\u010dite ovplyvnia n\u00e1\u0161 bud\u00faci v\u00fdskum.\u201d <\/em><\/p>\n<\/div>\n\n

\n

Tutori\u00e1l \u201cSupervised Learning\u201d od Pavla Drot\u00e1ra<\/h3>\n<\/div>\n\n
\n

\u010eal\u0161\u00edm z\u00e1\u017eitkom prv\u00e9ho d\u0148a bol tutori\u00e1l Pavola Drot\u00e1ra na \u201cSupervised Learning\u201d s JAX.  JAX je otvoren\u00e1 kni\u017enica na numerick\u00e9 v\u00fdpo\u010dty a Pavlov tutori\u00e1l n\u00e1m predviedol jej schopnosti v kontexte \u00faloh v strojovom u\u010den\u00ed.<\/p>\n<\/div>\n\n

\n

Ivana Be\u0148ov\u00e1:<\/p>\n<\/div>\n\n

\n

\u201cS dobre \u0161trukt\u00farovanou s\u00e9riou pozn\u00e1mkov\u00fdch blokov v jazyku Python n\u00e1s Pavol previedol r\u00e1mcom JAX. Vysvetlil ho nielen za\u010diato\u010dn\u00edkom, ale aj t\u00fdm, ktor\u00ed u\u017e boli obozn\u00e1men\u00ed so strojov\u00fdm u\u010den\u00edm. Obzvl\u00e1\u0161\u0165 cenn\u00e9 bolo to, \u017ee tieto pozn\u00e1mkov\u00e9 bloky zverejnil na platforme GitHub, \u010d\u00edm n\u00e1m umo\u017enil pokra\u010dova\u0165 v u\u010den\u00ed aj po skon\u010den\u00ed letnej \u0161koly.<\/em><\/p>\n<\/div>\n\n

\n

Jednotliv\u00e9 cvi\u010denia v tutori\u00e1le za\u010d\u00ednali z\u00e1kladn\u00fdmi \u00falohami, ako je na\u010d\u00edtanie d\u00e1tov\u00fdch s\u00e1d a vytvorenie jednoduch\u00fdch modelov line\u00e1rnej regresie. Pokra\u010dovali k zlo\u017eitej\u0161\u00edm v\u00fdzvam, ako je tr\u00e9novanie hlbok\u00fdch u\u010diacich sa siet\u00ed. <\/em>Toto n\u00e1m umo\u017enilo postupne rozv\u00edja\u0165 na\u0161e schopnosti v JAXe. <\/em><\/strong><\/p>\n<\/div>\n\n

\n

V tutori\u00e1le bola tie\u017e zahrnut\u00e1 diskusia o v\u00fdhod\u00e1ch a nev\u00fdhod\u00e1ch PyTorch a JAX. Zatia\u013e \u010do PyTorch je zn\u00e1my pre svoje jednoduch\u00e9 pou\u017e\u00edvate\u013esk\u00e9 rozhranie a rozsiahlu podporu kni\u017en\u00edc, JAX vynik\u00e1 svojou schopnos\u0165ou automatick\u00e9ho diferencovania v jazyku Python a svojou flexibilitou pre akceler\u00e1ciu na GPU a TPU. Tutori\u00e1l n\u00e1m poskytol inform\u00e1cie, ako si vzh\u013eadom na \u0161pecifick\u00e9 po\u017eiadavky na\u0161ej v\u00fdskumnej pr\u00e1ce vybra\u0165 vhodn\u00fd r\u00e1mec pre na\u0161e projekty strojov\u00e9ho u\u010denia. <\/em>T\u00e1to predn\u00e1\u0161ka n\u00e1s obohatila o nov\u00e9 poznatky a n\u00e1stroje, ktor\u00e9 m\u00f4\u017eeme \u010falej vyu\u017ei\u0165 v na\u0161om v\u00fdskume.\u201d<\/em><\/strong><\/p>\n<\/div>\n\n

\n

Spolo\u010dn\u00e9 welcome drinky<\/h3>\n<\/div>\n\n
\n
\"\"<\/figure>\n<\/div>\n\n
\n

Rastislav Pap\u0161o:<\/p>\n<\/div>\n\n

\n

\u201cPo n\u00e1ro\u010dnom prvom dni plnom predn\u00e1\u0161ok sme sa presunuli do kult\u00farneho centra Taba\u010dka, kde sme si na chvi\u013eku odd\u00fdchli pri welcome drinkoch. Tak\u00e9to spolo\u010densk\u00e9 udalosti s\u00fa skvel\u00e1 pr\u00edle\u017eitos\u0165 na spozn\u00e1vanie nov\u00fdch \u013eud\u00ed. Taktie\u017e sa na nich m\u00f4\u017eeme stretn\u00fa\u0165 s predn\u00e1\u0161aj\u00facimi a porozpr\u00e1va\u0165 sa aj o neform\u00e1lnych t\u00e9mach. Dostali sme mo\u017enos\u0165 stretn\u00fa\u0165 sa s legend\u00e1rnymi v\u00fdskumn\u00edkmi, ako s\u00fa Peter Richt\u00e1rik z King Abdullah University of Science and Technology, Jana Ko\u0161eck\u00e1 z George Mason University, \u010di Razvan Pascanu a Michal Valko z Deepmind. Pr\u00edjemn\u00e9 letn\u00e9 po\u010dasie e\u0161te posilnilo pr\u00edjemn\u00fa atmosf\u00e9ru a my sme mohli veselo komunikova\u0165 s \u00fa\u017easn\u00fdmi \u013eu\u010fmi z cel\u00e9ho sveta a rozobera\u0165 aktu\u00e1lne trendy v umelej inteligencii.\u201d\u00a0<\/em><\/p>\n<\/div>\n\n

\n
\"\"<\/figure>\n<\/div>\n\n
\n

D\u00f4le\u017eitos\u0165 osobnej interakcie <\/h3>\n<\/div>\n\n
\n

Letn\u00e1 \u0161kola EEML nebola len o predn\u00e1\u0161kach a tutori\u00e1loch; bola tie\u017e o budovan\u00ed nov\u00fdch vz\u0165ahov a posil\u0148ovan\u00ed t\u00fdch existuj\u00facich. Napr\u00edklad na\u0161a doktorandka Ivana Be\u0148ov\u00e1 mala pr\u00edle\u017eitos\u0165 stretn\u00fa\u0165 sa so svojou externou mentorkou Janou Ko\u0161eckou.<\/p>\n<\/div>\n\n

\n

Ivana Be\u0148ov\u00e1:<\/p>\n<\/div>\n\n

\n

\u201cNa letnej \u0161kole som za\u017eila druh\u00e9 osobn\u00e9 stretnutie s Janou Ko\u0161eckou. Bol to v\u00fdnimo\u010dn\u00fd moment, preto\u017ee obvykle komunikujeme ibe online. Osobne sme sa kv\u00f4li vzdialenosti stretli len raz, minul\u00fd rok v lete. Stretnutie v Ko\u0161iciach mi pripomenulo, ak\u00fa hodnotu m\u00e1 osobn\u00e1 interakcia v \u010doraz digit\u00e1lnej\u0161om svete. Okrem v\u00fdskumn\u00fdch t\u00e9m sme sa porozpr\u00e1vali aj o \u017eivote, na\u0161ich t\u00fa\u017ebach a sk\u00fasenostiach. Tak\u00e9to osobn\u00e9 interakcie \u010dasto ved\u00fa k nov\u00fdm n\u00e1padom a spolupr\u00e1cam, preto je letn\u00e1 \u0161kola v\u00fdznamn\u00e1 udalos\u0165 pre ka\u017ed\u00e9ho \u0161tudenta, ktor\u00fd sa uch\u00e1dza o titul PhD.\u201d <\/em><\/p>\n<\/div>\n\n

\n

Pre\u010do je Letn\u00e1 \u0161kola EEML d\u00f4le\u017eit\u00e1<\/h3>\n<\/div>\n\n
\n

Letn\u00e1 \u0161kola EEML znamen\u00e1 viac ako len pr\u00edle\u017eitos\u0165 na u\u010denie; predstavuje priestor na networking, mentoring a osobn\u00fd rast. <\/strong>Tu je nieko\u013eko d\u00f4vodov, pre\u010do je Letn\u00e1 \u0161kola EEML d\u00f4le\u017eit\u00e1:<\/p>\n<\/div>\n\n

\n