Na prestížnej súťaži SemEval 2023 Data Challenge zvíťazili riešenia od KInITu a Univerzity v Sheffielde

V rámci projektu vera.ai sa Kempelenov inštitút inteligentných technológií a Univerzita v Sheffielde spoločne zúčastnili na súťaži SemEval 2023 data challenge – jedná sa o najprestížnejšiu dátovú výzvu v oblasti spracovania prirodzeného jazyka (NLP).

Výzva pozostávala z 12 rôznych úloh, ktoré sa týkajú širokého rozmedzia aplikačných domén a problémov. V rámci súťaže sme sa zamerali predovšetkým na úlohu predikcie dôveryhodnosti textu v článkoch na webe (úloha č. 3).

Táto úloha úzko súvisí s výskumom v rámci projektu vera.ai, konkrétne s výskumom predikcie kredibility online obsahu. KInIT sa primárne zameral na detekciu techník presviedčania. Univerzita v Sheffielde sa zamerala na zvyšné dve podúlohy:

Cieľom podúlohy detekcie techník presviedčania je automaticky identifikovať všetky techniky presviedčania v odseku písaného textu. Techniky presviedčania sa používajú  za účelom ovplyvniť niekoho presvedčenia, postoje alebo správanie tak, aby táto osoba prijala konkrétny názor alebo vykonala konkrétnu akciu. Tieto techniky sa často využívajú v marketingu, politike a ďalších formách interpersonálnej komunikácie.

Hoci môžu byť techniky presviedčania použité v pozitívnom kontexte, ich najvýznamnejší negatívny dopad je spojený s ich využívaním v dezinformačných kampaniach. V kontexte dezinformácií sa techniky presviedčania často používajú na ovplyvnenie verejného názoru o konkrétnej téme a presviedčanie ľudí, aby prijali konkrétny názor, ktorý býva často škodlivý. Príkladom použitia takejto metódy je napríklad zveličovanie negatívneho vplyvu očkovania alebo ospravedlňovanie agresívneho a nepriateľského správania.

Automatická detekcia techník presviedčania je preto dôležitým využitím umelej inteligencie pri riešení problémov s dezinformáciami. Môže sa využiť napríklad ako signál na posúdenie dôveryhodnosti obsahu a na zlepšenie detekcie dezinformácií. Táto úloha je však z viacerých dôvodov náročná.

Prvým dôvodom je, že poskytnuté texty môžu obsahovať viacero techník presviedčania. Taktiež sa stáva, že sa technika presviedčania v časti textu vôbec nenachádza. Toto vedie k výraznej nerovnováhe v dátach, pretože niektoré techniky presviedčania sa v nich vyskytujú iba zriedkavo.

Ďalším dôvodom je, že manuálna identifikácia techník presviedčania je ťažká a časovo náročná. Môžu ju totiž vykonávať len odborníci, ktorí rozumejú všetkým nuansom v texte a diskusii. Zároveň môže odborníkovi trvať hodiny, kým identifikuje všetky techniky presviedčania v danom novinovom článku.

V neposlednom rade, úloha bola formulovaná ako viacjazyčný problém, pričom techniky presviedčania boli obsiahnuté v obsahu napísanom v 6 rôznych jazykoch (angličtina, francúzština, nemčina, taliančina, poľština a ruština) a 3 vopred neznámych jazykoch (gréčtina, gruzínčina a španielčina), ktoré boli použité iba na účely testovania. Navrhované riešenie umelej inteligencie preto muselo pracovať so všetkými jazykmi súčasne a zároveň aj generalizovať na jazyky, pre ktoré neboli k dispozícii žiadne údaje.

KInIT tím tvorili stážisti Timo Hromádka, Timotej Smoleň a Tomáš Remiš, pod vedením Branislava Pechera a Ivana Srbu. Náš tím navrhol riešenie, ktoré dosiahlo vynikajúce výsledky. 

Využitím navrhovaného riešenia umelej inteligencie sme dosiahli 1. miesto v 6 z 9 jazykov (taliančina, ruština, nemčina, poľština, gréčtina a gruzínčina), pričom dva z týchto jazykov boli tie, ktoré model pri trénovaní nevidel.

Pre zvyšné jazyky sme obsadili 2. miesto v španielčine (posledný neznámy jazyk), 3. miesto vo francúzštine a 4. miesto v angličtine. Tieto úžasné výsledky boli doplnené tímom z Univerzity v Sheffielde, ktorý dosiahol 2. miesto v angličtine.

V rámci riešenia problému sa KInIT tím pokúsil o rôzne metódy riešenia viacjazyčnosti. 

Prvým skúmaným prístupom bol jednoduchý jednojazyčný model, ktorý fungoval iba v angličtine. Všetky ostatné jazyky boli preložené do angličtiny pomocou automatického prekladu (Google Translate). Druhým skúmaným prístupom bolo použitie plne viacjazyčného modelu, ktorý dokázal priamo porozumieť a pracovať so všetkými jazykmi.

V oboch týchto prístupoch využil KInIT tím predtrénovaný veľký jazykový model (RoBERTa/XLM-RoBERTa), ktorý bol dotrénovaný na konkrétnu úlohu detekcie techník presviedčania. Z následného porovnania vyplynulo, že aplikácia viacjazyčného riešenia dosahuje lepšie výsledky, ktoré sa preto použilo ako konečné riešenie (pre viac informácií si prečítajte výskumný článok, ktorý bude publikovaný na workshope SemEval).

Tím z Univerzity v Sheffielde bol jedným z piatich tímov, ktoré sa pokúsili o všetky tri podúlohy pre všetky jazyky, pričom sa špeciálne zameral na dve zostávajúce podúlohy: detekciu žánru správ a témy. 

V podúlohe 1 (detekcia žánru) dosiahol tím zo Sheffieldu spoločné prvé miesto pre nemčinu a najvyššie hodnotenie spomedzi tímov, ktoré pracovali s viacerými jazykmi.

V podúlohe 2 (detekcia témy) dosiahli prvé miesto v 3 jazykoch a najlepšie priemerné hodnotenie zo všetkých jazykov.

V podúlohe 3 (detekcia techník presviedčania) sa sheffieldsky tím umiestnil v najlepších 10 výsledkoch pre všetky jazyky, vrátane druhého miesta pre angličtinu. Výskumný článok opisujúci navrhnuté riešenie bol nominovaný na cenu za najlepší článok a rovnako bude publikovaný v zborníku SemEval workshopu.

Na podúlohu 1 použil tím súbor plne trénovaných a adaptérových modelov mBERT. Na podúlohu 2 boli použité dva samostatné súbory: jednojazyčný model RoBERTa-MUPPET LARGE a súbor XLM-RoBERTa LARGE s adaptérmi a úlohovo adaptívnym predtrénovanim. Pre podúlohu 3 sme trénovali jednojazyčný model RoBERTa-Base pre angličtinu a viacjazyčný model mBERT pre zvyšné jazyky. Pre každú podúlohu sme porovnávali jednojazyčné a viacjazyčné prístupy a zohľadňovali techniky vyváženia tried.

Oba tímy vera.ai boli v komplexnej úlohe detekcie dôveryhodnosti veľmi úspešné, čo má pre projekt vysokú mieru relevancie. Motivovaní pozitívnymi výsledkami pokračujeme v ďalších experimentoch (vrátane experimentov s najmodernejšími veľkými jazykovými modelmi, ako napríklad ChatGPT alebo GPT4).

Očakávame, že nové poznatky budú mať ďalší významný vplyv na výskum a umožnia nasadenie najlepšie fungujúcich modelov ako súčasť služby hodnotenia dôveryhodnosti, ktorú plánujeme poskytovať v rámci projektu vera.ai. Táto služba bude poskytovať žurnalistom profesionálnu a efektívnu analýzu dôveryhodnosti rôznych online obsahov. Napríklad predbežne overiť, či je obsah nedôveryhodný a mal by sa ešte prekontrolovať, alebo naopak, či je obsah dôveryhodný a môže byť citovaný.

Spoluautorkou tohto článku je Olesya Razuvayevskaya z Univerzity v Sheffielde.