Faktomāts ⟩ Kā Putins Francijā un Vācijā kļuva pozitīvi vērtēts jeb kāpēc aptauju metodoloģija ir svarīga (2)

Šā gada 15.augustā Volkovs publicēja ierakstu virkni sociālajā tīklā "X", kuros dalījās ar Francijas un Vācijas iedzīvotāju aptauju rezultātu diagrammām. Šo valstu iedzīvotājiem lūgts atbildēt, ar kādiem vārdiem viņi raksturotu Krievijas prezidentu, kā viņi raksturotu savu attieksmi pret Putinu un kurš, viņuprāt, ir vainojams pie kara sākšanās Ukrainā.

Pēc publicētajiem rezultātiem - Francijā attieksmi pret Putinu kā "drīzāk pozitīvu" vērtē 45%, bet vācijā - 35% respondentu - varētu šķist, ka rietumeiropa ir sajukusi prātā, bet, ja tos papēta nedaudz dziļāk, tad rodas iespaids, ka aptaujas veicēji vai nu apzināti mēģina maldināt, vai arī viņiem vēl jāapgūst, kā veido socioloģiskās aptaujas. Lielas šaubas par publicētajiem datiem rada arī fakts, ka citu starptautisku pētniecības organizāciju aptauju dati ar līdzīgiem jautājumiem atlāj pavisam citu ainu.

Can everyone stop sharing that thread about how Kremlin propaganda has persuaded French and Germans that Putin is a decent guy. The numbers are nonsense.

Latest Pew Research poll has French and Germans very strongly opposed to Putin https://t.co/9PFneFuzQt pic.twitter.com/S5FIVvXpbO

— John Burn-Murdoch (@jburnmurdoch) August 15, 2023

Metodoloģijai ir liela nozīme

Kā norāda ESOMAR (iepriekš Eiropas Viedokļu un mārketinga pētījumu veicēju biedrība) komitejas locekle, Lielbritānijā bāzētā tirgus izpētes un datu analīzes uzņēmuma "YouGov" konsultante Ketlīna Frankovica (Kathleen Frankovic), novērtējot kādas aptaujas rezultātus, svarīgi uzdot šādus jautājumus: 

• Kurš to veica?
• Kurš par to maksāja?
• Kādi jautājumi tika uzdoti?
• Kad aptauja ir veikta?
• Kā aptauja ir organizēta?

Viņa atzīmē, ka atbildes uz šiem jautājumiem nevajadzētu būt grūti atrast, pretējā gadījumā tas varētu liecināt par problēmām saistībā ar to, kā aptauja veikta.

Volkovs pats jau vienā no ierakstiem, it kā atbildot uz potenciālu jautājumu, kāpēc šie dati ir ticami, pauž, ka kopš 2013. gada Navaļnija dibinātajam pretkorupcijas fondam ("ACF International") ir sabiedrības viedokļu izpētes departaments. "Mēs veicam ikmēneša sabiedrības viedokļa aptaujas, un mums ir labākā neatkarīgā aptauju veicēja reputācija Krievijā. Pagājušajā mēnesī mēs nolēmām veikt aptauju ārpus Krievijas."

Vēlāk, atbildot uz citu komentētāju jautājumiem par aptaujas organizēšanu, viņš informē, ka aptauja veikta tikai internetā, bet respondentu atbildes dalītas pēc dzimuma un vecuma kvotām. Un, lai to izlasītu, ir jāizburas komentāru "jūrai". Vēl starp tiem var atrast arī atbildi, ka aptauja veikta "pagājušajā nedēļā". 

Varētu teikt, ka tā ir piekasīšanās sīkumiem un kāpēc gan tas ir svarīgi, bet šādu "sīkumu" neievērošana var būt ļoti bīstama. Šo Volkova ierakstu virknējumu ir "redzējuši" 1,7 miljoni "X" lietotāju, un, lai gan vairums komentētāju apšauba publicētos aptauju rezultātus, jautājums, kādu iespaidu tie ir atstājuši uz tiem, kas nav papūlējušies Volkovam atbildēt ar "that’s total bullsh*t".

Kāpēc publicētie rezultāti ir apšaubāmi?

Attiecībā uz konkrēto aptauju jāatzīmē, ka tās "rezultāti" publicēti tikai minētajā Volkova ierakstu virknē. Tie nav atrodami pat "Antkorupcijas fonda"  - organizācijas, kura it kā veikusi šo aptauju - mājaslapā, bet šīs organizācijas "Telegram" kontā ir vien cita Krievijas medija "Sirena" ieraksta pārpublikācija par aptaujas rezultātiem. Par aptaujas metodoloģiju, kā jau minēts, informācijas druskas var atrast tikai Volkova atbildēs komentētājiem.

Pievēršoties pašai aptaujai, pirmais, kas "krīt acīs", ir mazais respondentu skaits. Publicētajām diagrammām pievienotajos pavadtekstos minēts, ka Francijā aptaujāti 554, Vācijā - 800, bet Lietuvā - 658 respondenti. Tas ir krietni par maz, lai dēvētu par reprezentatīvo kopu - pēc zinātnieku rakstītā, ja ģenerālkopa (šajā gadījumā visi attiecīgās valsts iedzīvotāji) ir virs 10 tūkstošiem cilvēku, aptaujāt nepieciešams 1000-1100 cilvēku, lai kļūdas procents būtu +/-3%. Jo mazāk respondentu, jo lielāks kļūdas procents. 

Saprotams, ka ģenerālkopu jeb visus vienas valsts iedzīvotājus neaptaujāsi, tāpēc ir aprobētas metodes, kā tiek veidotas reprezentatīvās izlases jeb paraugkopas, pēc kuru aptauju rezultātiem var izdarīt secinājumus par visas ģenerālkopas viedokli ar visai mazu kļūdas procentu. Galvenais princips, veidojot šādu izlasi, ir nodrošināt vienādu iespēju nokļūt izlasē jebkurai kopas vienībai. Tas nozīmē, ka izlasē vienības nokļūst nejauši, piemēram, izlozējot.

Taču šīs aptaujas gadījumā nav atbilžu uz jautājumiem, kā veidota šī kopa, kas bija respondenti - vai visi pieaugušie, vai viņi dzīvo vienā reģionā, kāda ir respondentu pilsonība utt.? Ja pēc Volkova teiktā, vecuma un dzimuma kvotas ir ievērotas, tad dzīvesvieta vai citi parametri gan nav ņemti vērā.

ESOMAR komitejas locekle arī norāda, ka tiešsaistes aptauja kā formāts rada dažādus jautājumus. Piemēram, tiešsaistes aptaujās netiek aptaujāti cilvēki bez piekļuves internetam. Tāpat jāņemot vērā, ka lielākā daļa tiešsaistes aptauju nav varbūtības paraugi - tās tiek veiktas starp cilvēkiem, kuri brīvprātīgi pievienojušies aptaujas paneļiem jeb paši izvēlējušies aizpildīt konkrēto aptauju.

Vēl būtiski atzīmēt, ka nav skaidri norādīts, kā un kurā vietnē potenciālie respondenti tika uzrunāti aptauju aizpildīt. Volkovs kādam komentētājam atbildējis, ka respondenti piesaistīti "izmantojot reklāmas banerus, kas izvietoti ģeogrāfiski atbilstoši", vēlāk citam atbildējis nedaudz precīzāk, ka aptaujas baneri izvietoti dažādos soctīklos. Nojaušot, kā strādā sponsorēto reklāmu rādīšanas algoritmi, šis variants rada papildus bažas par to, cik reprezentatīva ir šādā ceļā iegūtā respondentu kopa. Tāpat pastāv iespēja, ka reālu respondentu vietā atbildes varētu būt snieguši "boti". 

Kā gribu, tā interpretēju

Labā prakse, veicot sabiedrības viedokļu izpēti, ir uzdot līdzsvarotus un neitrālus jautājumus. Arī Frankovica uzsver, ka jautājuma formulējums nedrīkst novest līdz atbildei vai ietekmēt atbildes. Un šīs aptaujas gadījumā šis punkts noteikti nav ievērots - piemēram, lielākā daļa piedāvāto atbilžu variantu uz jautājumu, ar kādiem vārdiem raksturotu Putinu, ir skaidri negatīvi - tirāns, homofobs, klauns -, bet citi neviennozīmīgi vērtējami, piemēram, jau minētais "spēcīgs līderis". Skaidri pozitīvi raksturojumi nav piedāvāti.

Turklāt, atbildot uz šo jautājumu, bijis iespējams atzīmēt vairākus atbilžu variantus, līdz ar to vienlaikus respodents teorētiski varētu norādīt gan "spēcīgs līderis", gan "tirāns", kas, abas atbildes skatot kopā, dod skaidru negatīvu vērtējumu, bet šādā veidā dati nav interpretēti. Piemēram, tas, ka it kā 45% Francijā aptaujāto izvēlējušies atbilžu variantu "spēcīgs līderis", Volkova ieskatā nozīmē to, ka Putinam būtu labas izredzes kandidējot Francijas prezidenta vēlēšanās.

Ņemot vērā, ka aptaujas anketa oriģinālvalodās nav publicēta, loģiskas ir arī bažas par jautājumu un atbilžu variantu tulkojuma kvalitāti. Tostarp komentētāji norāda, ka, piemēram, potenciālajam vārdu savienojuma "spēcīgs līderis" tulkojumam vācu vai franču valodā nav viennozīmīgi pozitīva nozīme, kā to interpretējuši aptaujas veicēji.

Vēl jāatzīmē, ka dažādās valstīs ir bijušas dažādas atbilžu iespējas. Piemēram, var secināt, ka Vācijā uz jautājumu par to, kurš vainojams pie kara sākšanās, iespējama tikai viena atbilde, bet Francijā - vairākas. Attiecīgi šādi iegūti dati nav objektīvi salīdzināmi.

Pats Volkovs atbildot uz komentētāju, tostarp starptautiskās domnīcas "Ārlietu padome" (The Council on Foreign Relations) zinātniskās līdzstrādnieces Liānas Fiksas, pārmetumiem par aptaujas kvalitāti, tā vietā, lai tomēr publicētu aptaujas metodoloģiju, atbild ar "atvainojiet, bet šis ož pēc "man nepatīk šie skaitļi, tāpēc es centīšos tos diskreditēt" pieejas." 

Tagad, kad esat iepazinušies ar to, kāpēc šie rezultāti ir apšaubāmi, varat aplūkot aprakstītos aptauju rezultātus.

OK, folks, now I have to ask for your full attention, please.
It will be a long thread, but I'm 100% sure it is very important and you'll learn a lot about the war, about Russia, Ukraine and Europe, about Putin and his plans.
1/14 pic.twitter.com/kwv3D8b0L1

— Leonid Volkov (@leonidvolkov) August 15, 2023