Ako nájsť parametre pre strojové učenie s učiteľom?

V týždni od 20. do 24. júna 2022 mali bratislavskí nadšenci umelej inteligencie dve príležitosti stretnúť sa s profesorom Petrom Richtárikom, uznávaným odborníkom na strojové učenie. Na Better_AI Meetupe a tiež na týždňovom kurze na Fakulte matematiky, fyziky a informatiky UK (FMFI UK). 

Profesor Peter Richtárik z KAUST je jedným z našich externých mentorov. Na svojej alma mater FMFI UK usporiadal špeciálny kurz na túto tému. Kurz mal názov „Úvod do metód stochastického gradientného zostupu“ a niektorí naši kolegovia mali možnosť ponoriť sa do tejto problematiky.

Jednou z podkategórií strojového učenia je strojové učenie s učiteľom, kde sa parametre modelov učia pomocou súborov dát, ktoré obsahujú výstupy pre každé pozorovania. Toto učenie prebieha postupnou zmenou parametrov modelu tak, aby rozdiel medzi predpovedaným a skutočným pravdivým výsledkom bol čo najmenší. Moderné modely strojového učenia s učiteľom však majú milióny parametrov. Preto je dôležité, ale veľmi komplikované, nájsť parametre čo najrýchlejšie a najpresnejšie.

Stochastický gradientný zostup alebo jeho variácie sú v súčasnosti ťažným koňom v oblasti trénovania strojového učenia pod dohľadom. Táto oblasť sa však za posledných desať rokov rozšírila a stále sa rozširuje, čo odborníkom z praxe sťažuje jej pochopenie. 

Tento kurz bol matematickým úvodom do najnovších poznatkov a výsledkov z tejto oblasti. Cieľom bolo pochopiť rozdiely medzi kľúčovými variantmi stochastického gradientného zostupu a ich konvergenciu a komplexitu. 

Teória odhalila zaujímavé vzťahy medzi metódami a ponúkla vysvetlenia, prečo v praxi pre konkrétny problém niektoré metódy fungujú lepšie ako iné. Taktiež matematika stojaca za optimalizáciou bola podnetná pre ľudí, ktorí primárne pracujú v iných oblastiach umelej inteligencie. Napríklad v meta-learningu, keďže optimalizácia je základnou súčasťou jedného zo smerov meta-learningu.

Keďže profesor Peter Richtárik patrí k najlepším výskumníkom v tejto oblasti, zúčastniť sa kurzu bola pre nás jedinečná príležitosť. Sme veľmi radi, že sme mali možnosť dozvedieť sa niečo nové, diskutovať a inšpirovať sa nielen v oblasti metód stochastického postupného zostupu, ale aj v aktuálnom výskume v oblasti strojového učenia a umelej inteligencie všeobecne.

Ak by ste tiež chceli zažiť prednášku Petra Richtárika, môžete si pozrieť záznam z posledného Better AI Meetupu na tému federatívneho učenia: