Ako nazerajú na pravdivosť článkov na Facebooku profesionáli a ako študenti stredných škôl? Pozrite si výsledky našej eyetrackingovej štúdie

V súčasnosti je na webe toľko dezinformácií, že hodnotenie pravdivosti správ sa niekedy môže podobať hodnoteniu príbehov v seriáli „Beyond belief“. Je možné tento proces nejakým spôsobom zefektívniť a zautomatizovať? Ako nám v tom pomôže sledovanie správania laikov a profesionálov pri vyhodnocovaní pravdivosti zdrojov? Tieto otázky si položili aj naši výskumníci Jakub Šimko, Matúš Tomlein, Róbert Móro a Mária Bieliková v najnovšej štúdii „A study of fake news reading and annotating in social media context“ publikovanej v časopise New Review of Hypermedia and Multimedia.

Ako prebiehal náš eyetracking?

Výskumníci vyhodnocovanie článkov participantom nijako neuľahčili. 44 laikom z radov stredoškolákov a 7 profesionálom, pracujúcim v oblasti žurnalistiky či fact checkingu, dali k dispozícii 50 článkov (poväčšine prevzatých z existujúcich médií) prostredníctvom aplikácie imitujúcej Facebook. Účastníci hodnotili pravdivosť iba na základe obsahu článkov. Žiadni autori, zdroje, vizuálna nápoveda, či množstvo lajkov a komentárov k príspevkom. To, ako sa s touto výzvou účastníci výskumu vysporiadali, sa sledovalo pomocou eyetrackingu (metódy sledovania pohybu očí).

Pre účely experimentu bola vytvorená stránka pripomínajúca Facebook, obsahujúca vybrané články

Pri laikoch výskumníkov zaujímalo najmä to, ako sa zvyknú správať pri „konzumácii“ falošných správ na sociálnych médiách a aký vplyv na to majú ich záujmy a názory. Taktiež sledovali, ako sa správajú ľudia, ktorí sú vo vyhodnocovaní úspešnejší a čo všetko si pri obsahu článkov všímajú. V prípade zistenia nejakých vzorcov správania môžu byť tieto poznatky použiteľné pre automatickú detekciu dezinformácií.

„Facebook“ obsahoval články z 11 tém s istou mierou kontroverzie: kvalita jedla, chudnutie, Moslimovia v EÚ, farmaceutický priemysel, LGBT práva, pravicový extrémizmus, očkovanie, UFO, globálne otepľovanie, miznutie pralesov a migranti. Zastúpené boli v každej téme pravdivé aj nepravdivé články, a tiež články s opačnými názormi na problematiku.

Príklad celého článku po kliknutí na príspevok na „Facebooku“. Všetky články mali rovnaký formát, aby sa účastníci experimentu pri odhadovaní ich pravdivosti riadili ich obsahom.

Čo nám ukázali pohľady študentov stredných škôl?

Čo teda odlíšilo úspešných študentov od tých neúspešných v prvej časti experimentu? Napríklad to, že úspešní si na posúdenie obsahu ponechali viac času (aj keď overili menej článkov, ale urobili to kvalitnejšie). Naopak, ak účastníci – laici strávili viac času čítaním nadpisov a informácii priamo len na „Facebooku“ (spoľahli sa hlavne na tento zdroj informácií), mali horšie výsledky. Zaujímavé tiež bolo, že aj keď sila záujmu korešpondovala so silou názoru participantov pri väčšine tém, pri niektorých témach (ako napr. manželstvá ľudí rovnakého pohlavia) to tak nebolo. Tento výsledok nevieme s istotou interpretovať, ale mohol by poukazovať na ovplyvnenosť názoru študentov externými faktormi..

Študenti, ktorí strávili viac času hodnotením obsahu článkov, dosiahli vyššiu úspešnosť vo vyhodnocovaní pravdivosti

Ako dopadli v experimente profesionáli?

Druhá časť experimentu sledovala, ako si pri vyhodnocovaní pravdivosti článkov čisto len na základe obsahu budú počínať experti. Zistilo sa síce, že im to išlo lepšie ako stredoškolákom, ani profesionáli však týmto spôsobom nedokázali správne vyhodnotiť až 30% článkov. Výraznejšie zlepšenie bolo možné pozorovať iba pri pravdivých článkoch (79% úspešnosť oproti 58%). Pri falošných článkoch expertom najviac chýbali metadáta a ďalšie informácie na overenie článku, ktoré používajú pri svojej práci. Ide najmä o možnosť overenia reputácie autora či vydavateľa, anonymita je pre nich silným znakom nedôveryhodného obsahu. Taktiež by si potrebovali overiť faktografické dáta na webe – väčšinou si overujú najmä dátumy, štatistiky, ale aj obrázky. 

V experimente sa účastníci mohli spoľahnúť iba na využívanie špecifického jazyka obsahu, ako sú nálepky, isté kľúčové slová, posudzovanie a názory autora, nedostatok faktografických informácii či vyvolávanie strachu (prípadne sa mohli spoľahnúť na vlastný úsudok). Pri vyhodnocovaní falošných správ im podľa vlastných vyjadrení chýbali vizuálne charakteristiky ako napríklad množstvo reklám, výrazné farby, veľké a tučné fonty, či dĺžka a stránkovanie obsahu.

Čo si všímajú experti pri vyhodnocovaní zdrojov?

Za najťažšie rozoznateľné články považovali experti

  • Kombináciu rôznych zdrojov a ich následnú dezinterpretáciu
  • Miešanie pravdivého obsahu s malým množstvom falošného 
  • Články bez jasného stanoviska, ktoré nechávajú na čitateľa, nech si urobí vlastný názor
  • Médiá, pri ktorých sa sa nedá overiť vydavateľ alebo vlastník portálu

Čo nás môžu výsledky výskumu naučiť?

Aj keď pravdivosť niektorých článkov možno posúdiť na základe charakteristík obsahu, ani odborníci to nedokážu urobiť s istotou. Umelá inteligencia im môže asistovať napríklad analýzou sentimentu či vyhľadávaním kľúčových slov. Avšak zdroje článku a metadáta, ako sú napríklad autori či vydavatelia, sú pre hodnotenie správ expertmi veľmi dôležité. Podstatné sú tiež vizuálne znaky, ako však ukázali aj iné výskumy dôveryhodnosti, dizajn stránky je práve tá charakteristika, ktorú si pri hodnotení kredibility všímajú profesionáli i laici. 

Výskum hodnotenia správ laikmi nám len potvrdil dôležitosť hlbšej analýzy obsahu (úspešnejší participanti boli tí, ktorí sa hodnoteniu venovali dlhšie). Neplatí to však pri analýze nadpisov článkov v samotnej Facebookovej aplikácii. Ak sa študenti spoľahli iba na ňu, vyhodnotili pravdivosť menej úspešne.