Slovak NLP Community Meeting #2

12:30 Otvorenie
12:30 Marek Šuppa et al. (UK, KInIT, TUKE): skLEP: Slovak GLUE Benchmark
13:00 Martin Fajčík (FIT BUT Brno): BenCzechMark and Beyond
13:30 Coffee break
13:45 Pozvaná prednáška: Michal Štefánik (University of Helsinki): Robust Language Models and Where to Find Them*
14:30 Coffee break
14:45 Miroslav Blšták (KInIT, Eduself): Slovník pojmov pre slovenčinu
15:15 Okrúhly stôl (otvorený koniec)
16:30+ Ukončenie

* Časť programu ako udalosť podporená iniciatívou slovaks.ai.

Language models (LMs) have emerged into a technology adopted in a wide variety of use-cases, today largely exceeding traditional NLP tasks. Despite that, over the last years, we have made little progress in LMs‘ applicability in tasks with limited data and tasks requiring reliable decision making, bearing huge potential for automation. Both these limitations can be attributed to models‘ limited robustness in out-of-distribution settings.

In this talk, I will share our experience with making language models more robust across languages, domains and tasks, and underline some general rules for improving robustness. Finally, I will outline our vision for achieving progress beyond the inherent limitations of the Transformer architecture, motivating further research in several key directions.

Druhé stretnutie komunity sa opäť konalo v sídle KInITu, v priestoroch The Spot v SkyPark Offices v Bratislave. Program bol zameraný na benchmarking. Najprv Marek Šuppa prezentoval výsledky pracovnej skupiny zameranej na benchmarkovanie (s prijatým vedeckým článkom na ACL 2025!) a pozvanie prijal Martin Fajčik z FIT VUT Brno, ktorý zdieľal skúsenosti s benchmarkovaním jazykových modelov v českom jazyku. Špeciálnym obohatením programu, podporená iniciatívou slovaks.ai, bola pozvaná prednáška Michala Štefánika z University of Helsinki. Miroslav Blšták z KInITu prezenoval vytvorený slovník pojmov pre slovenčinu. Pri okrúhlom stole s otvoreným koncom jednotlivé výskumné tímy odprezentovali aktualizácie ich práce.