RobIndAI: Robustnosť indikátorov dezinformačného obsahu generovaného AI vo viacjazyčnom online priestore

Projekt RobIndAI bojuje proti zneužívaniu AI na generovanie dezinformačných textov pomocou zvýšenia robustnosti metód detekcie strojovo-generovaného textu. Zameraním RobIndAI je viacjazyčný obsah (najmä jazyky stredoeurópskeho informačného priestoru) v doméne novinových článkov a obsahu sociálnych módií. RobIndAI je koncipovaný ako rozšírenie projektu VIGILANT (Horizontu Európa), ktorého je KInIT riešiteľom.

Cieľom projektu RobIndAI je výskum metód a modelov umelej inteligencie na zvýšenie robustnosti indikátorov dezinformačného obsahu (z webu a sociálnych médií) s orientáciou najmä na detekciu strojovo generovaného textu. Vzhľadom na schopnosť moderných jazykových modelov generovať vysokokvalitný text v rôznych jazykoch, ktorý je pre človeka nerozoznateľný, je obava zo zneužitia tejto technológie rastúca (napr. medzinárodné dezinformačné kampane). Spoľahlivá detekcia strojovo generovaného textu a jeho rozlíšenie od originálneho textu písaného človekom je v tomto ohľade podstatným a veľmi žiadaným indikátorom.

V projekte RobIndAI budú použité metódy a modely zamerané na spracovanie textu a jeho klasifikáciu, fundamentálne multilingválne, prispôsobené predovšetkým potrebám stredoeurópskeho informačného priestoru. V rámci projektu bude realizovaná porovnávacia štúdia efektívnosti existujúcich metód detekcie textu generovaného prostriedkami umelej inteligencie v stredoeurópskych jazykoch. Štúdia efektívnosti bude zameraná okrem identifikácie použiteľnosti jednotlivých detekčných metód v daných jazykoch aj na vyhodnotenie ich odolnosti voči existujúcim útokom a technikám zabránenia detekcie. Oproti už prebiehajúcemu Horizon Europe projektu VIGILANT, prinesie RobIndAI pokročilejšie metódy spracovania textu (predovšetkým založené na najnovších veľkých jazykových modeloch), regionálnu a obsahovo-doménovú špecifickosť metód (spolu s novým datasetom zameraným na náš región), dôraznejšie porovnanie rôznych možností detekcie (osobitný model pre každý jazyk vs. spoločný model pre všetky jazyky), ako aj robustnosť voči novým sofistikovanejším útokom.

Projekt vychádza z predpokladu, že strojovo-generovaný text pomocou AI modelov má charakteristické vzory, ktoré je možné identifikovať pomocou analytických metód a umelej inteligencie. Z hľadiska orientácie na dezinformácie, projekt predpokladá, že strojovo-generovaný text je pozitívnym indikátorom masovo šírených dezinformácií v online priestore.

RobIndAI využíva moderné metódy strojového učenia, spracovania prirodzeného jazyka a analýzu dát na riešenie problému detekcie strojovo-generovaného textu v online médiách. Kľúčovým faktorom tiež bude získavanie kvalitných trénovacích dát a rôznorodý dataset (obohatený o parafrázované texty) pre zabezpečenie účinnosti modelov v reálnom svete.

Financované EÚ NextGenerationEU prostredníctvom Plánu obnovy a odolnosti SR v rámci projektu č. 09I01-03-V04-00059.