Výskumná návšteva na Univerzite v Sheffielde: Falošné informácie a veľké jazykové modely

Ivan Srba pôsobí ako člen tímu spracovania webových a používateľských údajov, kde sa špecializuje na riešenie problémov škodlivých informácií prostredníctvom umelej inteligencie. V júni 2023 dostal príležitosť absolvovať výskumnú návštevu na Univerzite v Sheffielde. Čitajte ďalej a dozviete sa viac o jeho skúsenostiach.

Vznik veľkých predtrénovaných jazykových modelov (s počtom parametrov od stoviek miliónov, ako je napríklad RoBERTa, až po najnovšie modely s počtom parametrov v stovkách miliárd, ako je ChatGPT) prilákal značnú pozornosť výskumnej komunity aj širokej verejnosti.

Medzi mnohými obavami týkajúcimi sa praktického využitia týchto modelov sa často opakuje jedna konkrétna hroba. Tieto modely môžu byť zneužité na automatické generovanie textu, ktorý neskôr môže slúžiť na šírenie existujúcich alebo úplne nových falošných informácií. Na druhej strane však majú tieto modely veľký potenciál prispieť k boju proti falošným informáciám. Tento potenciál však zatiaľ zostáva nepreskúmaný.

Počas môjho výskumného pobytu v tíme GATE NLP na Univerzite v Sheffielde (s podporou programu SoBigData++ TNA) som mal výnimočnú príležitosť zhodnotiť potenciál veľkých jazykových modelov v kontexte šírenia a boja proti dezinformáciám. Zároveň som sa venoval možnostiam ich využitia pri automatickom hodnotení dôveryhodnosti online obsahu.

V tomto článku opíšem dosiahnuté výsledky a osobné skúsenosti z návštevy na Univerzite v Sheffielde a spolupráce s tamojším výskumným tímom pre spracovanie prirodzeného jazyka (angl. Natural Language Processing – NLP).

Najprv som vytvoril sumarizáciu súčasných poznatkov o tejto problematike, aby som získal komplexný obraz o veľkých jazykových modelov a ich vzťahu k falošným informáciám (konkrétne dezinformáciám a manipuláciám). Vychádzal som z existujúcich prác a z našich vlastných výskumných aktivít v KInITe, ako aj zo minulých/aktuálnych výskumných aktivít GATE tímu na Univerzite v Sheffielde.

Získaný prehľad najnovších výsledkov potvrdzuje, že rozpoznané hrozby týkajúce sa schopnosti týchto modelov generovať dezinformácie nie sú zanedbateľné. Veľké jazykové modely dokážu generovať vysoko kvalitné texty, ktoré sú pre ľudí ťažko rozoznateľné. Okrem toho, ako sme ukázali v rámci prebiehajúcej práce na projekte vera.ai, tieto modely dokážu generovať aj veľmi presvedčivé dezinformačné texty (novinové články, príspevky na sociálnych médiách, komentáre) s novými (úplne vymyslenými) argumentami. Aktuálne techniky, ktoré sú využívané s cieľom zamedziť šíreniu takýchto textov (ako napr. bezpečnostné filtre, angl. safety filters) sa ukázali ako nedostatočné.

Pozitívnou správou je, že tak ako sme ukázali v nedávnom výskume v rámci projektu VIGILANT, detekcia umelo generovaného textu je možná a to aj pre text v rôznych jazykoch, pričom úspešnosť detekcie sa líši pre rôzne jazyky, generátory textu a samotné detektory.

Veľké jazykové modely majú zároveň veľký potenciál adresovať  rôzne problémy, vrátane tých, ktoré súvisia s dezinformáciami. Môžu slúžiť ako zdroj slabých signálov (angl. weak signals), hodnotiť dôveryhodnosť zdrojov alebo dokonca poskytovať vysvetlenia koncovým používateľom. Tento potenciál je však prevažne nepreskúmaný. Práve preto sa stal centrom môjho ďalšieho skúmania počas výskumnej návštevy.

Začiatkom roka 2017 priniesli jazykové modely nový spôsob riešenia úloh spracovania prirodzeného jazyka (NLP), označovaný ako  “pre-train, fine-tune”. V tomto prístupe je jazykový model najskôr predtrénovaný na veľkom množstve surových dát a potom dotrénovaný na konkrétnu úlohu. S najnovšími predtrénovanými veľkými jazykovými modelmi sa objavila ďalšia paradigma označovaná ako “pre-train, prompt, and predict”. V tejto paradigme je konkrétna úloha riešená pomocou promptov – pričom techniky na nájdenie najlepších promptov sa označuje ako “prompt engineering”. Konkrétnym príkladom inžinierstva promptov je tzv. in-context learning, kde je jazykový model dotrénovaný niekoľkými oanotovaných vzorkami, ktoré sú súčasťou samotného promptu.

Obidve tieto paradigmy majú veľký potenciál pomôcť v boji proti dezinformáciám. Konkrétne som sa zameriaval na výskum toho, ako ich môžeme využiť na hodnotenie dôveryhodnosti obsahu. Počas výskumnej návštevy sme nadviazali na naše predchádzajúce výsledky v rámci dátovej výzvy SemEval Task 3, kde tím GATE navrhol najlepšie riešenie pre podúlohy 1 a 2 (Kategorizácia žánrov a Detekcia tématických kategórií novinových článkov). Ja som bol zas členom tímu KInIT, v ktorom sme navrhli riešenie, ktoré dosiahlo najlepšie výsledky v podúlohe 3 (Detekcia techník presviedčania), pričom sme obsadili 6 prvých miest z 9 jazykov.

Najskôr sme vykonali viacero experimentov s využitím promptov a in-context učenia na základe dát zo súťaže SemEval a tiež dát z podobnej súťaže DIPROMATS. Experimentovali sme s jednoduchou binárnou verziou úlohy (predpovedať, či vstupný text obsahuje presviedčajúce techniky alebo nie) a taktiež s pôvodnou verziou úlohy (predpovedať prítomnosť jednotlivých techník presviedčania). Experimenty boli uskutočnené na veľkom jazykovom modely od OpenAI (ChatGPT) a tiež veľkom jazykovom modely založenom na LLaMA (LLaMA Vicuna). Zvláštny dôraz sme kládli na náhodnosť predikcií – experimentovali sme s rôznym počtom, poradím, technikami výberu a distribúciou značiek in-context príkladov, aby sme skúmali najvhodnejšie formáty promptov.

Výsledky experimentov ukázali, že ani prompting, ani in-context učenie nedokážu prekonať dotrénovaný model (angl. fine-tuned model). Dôvodom je, že obe sady dát (SemEval a DIPROMATS) obsahujú pomerne veľké množstvo označkovaných príkladov. Tieto trénovacie sady umožňujú viacjazyčnému modelu (XLM-RoBERTa_LARGE) dostatočné dotrénovanie pre konkrétnu úlohu, a teda najnovšie jazykové modely fungujúce v režime bez poskytnutia označkovaných príkladov (angl. zero-shot) alebo len s niekoľkými príkladmi (angl. few-shot) nedokážu dosiahnuť porovnateľný výkon.

Toto je zaujímavé zistenie, ktoré si zaslúži ďalšie preskúmanie. Je možné vykonať ďalšie experimenty na rôznych úlohách spracovania prirodzeného jazyka a na viacerých dátových sadách, aby sme zistili, či sa potvrdí rovnaké pozorovanie. Ak áno, potom bude dôležité preskúmať, či existuje určitý bod zlomu v počte trénovacích vzoriek, pri ktorom dotrénovanie prevýši prompting a in-context učenie najnovších veľkých jazykových modelov.

Výsledky predchádzajúceho výskumu ukázali, že v prípade dostatočne veľkého trénovacieho súboru dotrénovanie (angl. fine-tuning) prekonáva prompting a in-context učenie. Jemné ladenie veľkých jazykových modelov však môže mať pomerne vysoké výpočtové nároky.

V tejto súvislosti som v úzkej spolupráci s GATE tímom porovnal výkon dotrénovaných  jazykových modelov (ktoré sme pôvodne použili na dátach SemEval) s výkonom modelov natrénovaných technikou “low-rank adaptation” (LoRA) a tzv. adaptérmi pre veľké jazykové modely. Obe techniky majú za cieľ poskytnúť parametrovo efektívne dotrénovanie veľkých jazykových modelov s minimálnou stratou výkonu a v niektorých prípadoch dokonca dosahovať lepšie výsledky v porovnaní s plne dotrénovanými modelmi.

Dosiahnuté výsledke preukázali, že v niektorých situáciách sú LoRA a adaptéry schopné prekonať výkon plne dotrénované modely. Experimenty s dátami zo súťaže SemEval ukázali, ako jednotlivé techniky performujú na úlohach s rôznymi charakteristikami (dĺžka vstupu, počet tried, celková náročnosť klasifikácie) a rôznymi viacjazyčnými nastaveniami (trénovanie na pôvodných dátach, a na anglických dáta s/bez prekladu), a tiež sme porovnali výkon pre jednotlivé jazyky.

Všeobecne môžeme konštatovať, že naše zistenia sú v súlade s existujúcimi výskumnými prácami, ktoré poukazujú na to, že nedochádza k výraznému poklesu výkonu alebo sa dokonca môže výkon zvýšiť pri významnej redukcii výpočtových nákladov. Okrem toho sme týmito podrobnými porovnaniami významne rozšírili už existujúce práce.

Táto práca vznikla v rámci výskumnej návštevy, ktorú podporil program SoBigData++ Transnational Access (TNA). Počas tejto návštevy som pod vedením profesorky Kaliny Bontcheva spolupracoval s GATE NLP tímom na Univerzite v Sheffielde.

Pobyt mi poskytol jedinečnú príležitosť prezentovať výsledky svojej práce na seminároch tímu GATE, ako aj diskutovať a vykonávať výskumné experimenty s členmi tohto tímu. Taktiež som sa podieľal na spracovaní dosiahnutých výsledkov vo forme spoločného článku v odbornom časopise.

Na záver môžem povedať, že mi táto výskumná návšteva umožnila zdokonaliť moje znalosti v oblasti spracovania prirodzeného jazyka (NLP), posilniť moju medzinárodnú výskumnú sieť kontaktov a nabrať skúsenosti z metodologických, organizačných a manažérskych schopností GATE tímu.