Jak netestovat Wikipedii

Co by se skutečně otestovalo jilmovým pokusem č. 2 – kvalita Wikipedie, síla komunity, nebo zase vůbec nic zajímavého – experiment proběhl, výsledky byly?

V reakci na (podle mě nic zajímavého neříkající pokus s vložením chyby do Wikipedie) navrhuje jilm dva pokročijelší způsoby testování Wikipedie

1. Sehnat odborníky z různých oblastí, dát jim náhodně vybraná hesla a nechat je vyjádřit se, jak kvalitní jsou. … Jenže to je organizačně dosti náročné a zkoumat by pouze šlo, jaký je aktuální stav Wikipedie, nikoliv jaká je obecná možnost její obsah ničit.

2. Utvořit skupinu lidí, kteří by průběžně pod různými loginy i neregistrovaně vkládaly z různých počítačů a IP adres do náhodných článků malé nenápadné lži. Takové ty, které moc nejde rozpoznat. Upravit nějaké slovo, vložit nenápadnou větu navíc, změnit nějaké to procento. Po roce pak vzít seznam všech úprav a podívat se, kolik toho ve Wikipedii zůstalo, jak dlouho odstranění lží trvalo a spočítat, kolik přibližně lidí za tu dobu mohlo být podvedeno. Takový experiment by měl velkou vypovídací hodnotu, přesně by odhalil sílu komunity.

Ano, obě metody sice mohou být „vypovídající“, ale nevím jestli je jasné, že každá vypovídá o něčem docela jiném.

V jazyku modelu filtrace chyb, o kterém jsem rozvláčně povídal posledně, se dá říci

počet přeživších chyb = (počet vkládaných chyb) * (účinnost filtrace)

První jilmův pokus měří počet přeživších chyb, druhý samotnou účinnost filtrace. Protože počet vkládaných chyb v původním proudu editací Wikipedie neznáme, výsledky experimentu 2. jsou neporovnatelné s experimentem 1.. Výsledky experimentu 2. jsou ostatně vůbec těžko porovnatelné s čímkoli. Počet chyb/jednotku obsahu se dá porovnat s klasickým médiem, webmagem jako Lupa, papírovou encyklopedií, učebnicí a pod. S čím ale porovnávat podíl odhalených záměrně zlovolných editací? S účinností protispamových filtrů?

Pokud by se někdo k takovému experimentu odhodlal, upozornil bych ještě na jeden zádrhel – pokud má výsledek o vypovídat o chování skutečné Wikipedie v tomto světě, experimentální „škodlivé editace“ by měly kopírovat profil skutečných škodlivých editací. Arthur Dent v komentáři k jilmovu článku – dosti naivně – vyjadřuje názor, že
1. pokusy škodit jsou pro Wikipedii cosi nového, s čím nejspíš naivně nepočítá
2. lidi dělají věci tak nějak pro nic za nic (tento předpoklad není přímo vyslovený)

Ve skutečnosti samozřejmě mnoho lidí přichází na Wikipedii provést nějaké úpravy s jiným záměrem, než Wikipedii prospět. Proč?

1. Zábava. Jistě, spousta lidí se baví vkládáním blbostí – kromě obligátních oznaméní který spolužák je to či ono, se objevují i propacovanější hoaxy a vtípky. Wikipedie pro ně má dokonce celý Kabinet kuriozit a občas jsou zábavné i pro širší publikum než jen pro autora.
2. Fanatismus. Dost problémů Wikipedii způsobují vlastníci jediné správné pravdy jakéhokoli charakteru. Jediná správná pravda se často dostává do sporu s požadavky na nezaujatost a ověřitelnost.
3. Peníze. Jaké překvapení! Asi nejproblematičtější a nejlépe motivovanou skupinou jsou lidé, kteří se snaží Wikipedii pozměnit kvůli nějakému hmotnému prospěchu – ať už jde o klasický linkspam, wiki-linkspam, zákládání a vkládání článků a informací o vlastních webech, projektech či podnikání a podobně.

Občasné vložení různých malých nenápadných lží by bylo relativně pracné, není to zábavné, a pokud ty lži nemají velmi specifický obsah, vkladateli žádný prospěch nepřinese. Pokud by takový experiment někdo – z experimentá­torských pohnutek – podnikl, bude měřit reakci Wikipedie na hrozbu, se kterou se v reálném světě příliš nesetkává, a není na ní zvyklá.

Jsem přesvědčený, že kdyby dostatečně velký zdroj poškozování navrhovaného jilmem vznikl, „filtry“ Wikipedie se nějak adaptují. Když se pustím zcela do říše věšteb, tak adaptací by mohlo být další zvýšení paranoie k novým účtům, nějaké automatizovanější sledování jejich reputace a zvýšení tlaku na vytvoření systému stabilních verzí (je předmětem mnoha úvah a pokusů už teď).

Aby ovšem experimentátor takovou adaptaci vyvolal, musel by podnět být dost silný – t.j. pokusů škodit tímto způsobem se dít hodně. S malým experimentem – v řádu desítek lidí a stovek chyb – se výsledek nejspíš dá odhadnout: chytře vnesené chyby zůstaly dlouho, komunita Wikipedie je slabá a neumí se bránit. Výsledek by to ale byl docela bezcenný – asi jako byste testovali protispamový filtr naučený na databázi desetitisíce mailů, a předmětem bylo, jak si poradí s dvacítkou mailů, obsahujících jen a pouze náhodně vybrané kusy zpravodajství ČTK. Projdou.

Výsledkem pokusu by byly nejspíš jen ty chyby – takže pokud byste opravdu chtěli něco vyzkoumat o skutečné Wikipedii,

1. lze se vrátit se k jilmovu způsobu 1
2. zkusit vkládat „chyby“ kopírující profil skutečných škodlivých editací – občas třeba do náhodného článku vložit větu typu Arthur Dent je buzna, rozpoutat boj o libovolné jediné správné vyznění článku o „Jiří Čunek“, co chvíli někam zkusit vecpat nějaký ten spamlink
3. jilmův pokus č. 2 začít realizovat opravdu ve velkém – na anglické Wikipedii, tisíce dobře motivovaných lidí…