Інструменти маніпулювання соціологічними даними та помилки при інтерпретації результатів опитувань

Після затвердження нового складу уряду Верховною Радою України, цілком закономірно виник інтерес, чи продовжуватиме нинішній уряд політику попереднього та у яких сферах очікуються зміни. На щастя, розмаїття політичних ток-шоу в Україні цілком здатне забезпечити суспільний попит на публічні заяви урядовців.

В ефірі ток-шоу «Право на владу» від 5 березня Ю. Тимошенко у своєму запитанні до прем’єр-міністра Д. Шмигаля зазначила, що згідно з дослідженням Групи «Рейтинг», 75% українців не схвалюють курсу, яким сьогодні рухається Україна, натомість схвалюють цей курс лише 15% громадян. Насправді, ця заява є навіть не маніпуляцією, а відвертою неправдою. Група «Рейтинг» не проводила подібних опитувань. Останнє опитування, яке стосувалося оцінки ситуації в країні, проводилося у грудні 2019 року та показало відмінні від озвучених результати.

Телевізійні ефіри є зручним майданчиком для поширення маніпуляцій соціологічними даними, адже перевірити істинність озвучених даних в режимі реального часу важко та навіть для дослідників. Однак це лише один із численних засобів маніпуляції соціологічними даними.

У межах однієї статті важко охопити усі методи маніпуляцій соціологічними даними та хибних інтерпретацій результатів опитування, які з’явилися та використовувалися за роки роботи соціологічних служб в Україні. У рамках цього матеріалу буде здійснено спробу описати та категоризувати деякі види умисних маніпуляцій чи неумисних помилок при презентації даних та їх інтерпретації, що їх свідомо застосовують чи мимоволі припускаються як самі  соціологи, так і сторонні споживачі.

1. Маніпуляції при візуалізації даних

Маніпуляції при візуалізації даних можуть умисно використовуватися для того, аби спотворити реальне співвідношення між певними явищами в уяві споживача інформації.

Одним з найпоширеніших видів таких спотворень є маніпуляції з віссю ординат. Нижченаведена  стовпчикова діаграма ілюструє регіональний розподіл відповідей  на запитання про довіру до Президента в опитуванні, проведеному Фондом «Демократичні ініціативи» спільно з Соціологічною службою Центру Разумкова у грудні 2019 року.

            Діаграма створює враження, що найбільше довіряють Президентові України у Південному регіоні і значно менша частка громадян довіряє Президентові на Заході країни. Насправді ж різниця між регіонами становить близько 20%, але візуально стовпчик, що відображає рівень довіри у Південному регіоні, вчетверо вищий, за стовпчик, що відповідає Західному регіону, що не відповідає дійсності. Такий ефект досягається зміною початкового значення шкали на осі ординат з «0» до «50». Хоч при створенні графіка й використані реальні дані, але через маніпуляцію з їх візуальним відображенням у споживача формується хибне враження про чотириразове переважання рівня довіри до Президента на Півдні порівняно з Західним регіоном.

            Наступний графік ілюструє динаміку змін частки громадян, залучених до активної громадської діяльності з травня 2013 року до грудня 2019-го.

            Візуально складається враження, що після 2013 року відбувся деякий спад громадської активності, після чого з грудня 2017 року до грудня 2018-го спостерігається значне піднесення. За цим нібито йде ще одна хвиля спаду та підйому до грудня 2019 року. Насправді ж частки залучених до громадської активності людей коливаються у межах статистичної похибки, тобто рівень активності майже не змінився. Візуальний ефект досягається через вузький розмах значень шкали на осі ординат, що увиразнює навіть мізерні відмінності між кількостями. Найчастіше такий метод маніпуляції застосовують умисно, адже автоматичні конструктори графіків та діаграм за замовчуванням використовують нуль як початок шкали на осі ординат.

            Ще один метод маніпуляцій даними, який може використовуватися при візуалізації даних, ­− хронологічне звуження. Розглянемо наступний графік, який ілюструє у динаміці, яка частка громадян вважає, що події в країні розвиваються у правильному чи неправильному напрямах:

            З графіку видно, що протягом останніх 15 років спостерігається стійкий тренд до значного переважання кількості тих, хто негативно оцінює розвиток ситуації в країні. Маніпуляція полягає у тому, що графік не ілюструє дані соціальних опитувань від червня до грудня 2019 року, коли позитивних оцінок було більше, ніж негативних. У лютому 2020 року тренд до переважання негативних оцінок відновився, але ігнорування даних за 2019 рік та об’єднання показників лютого 2020 року з попередньою динамікою є маніпулятивним, адже спотворює реальну ситуацію.

            Правильно інформація представлена на наступному графіку:

             Графік ілюструє розрив тренду на переважання негативних оцінок у 2019 році. Крім того, якщо ілюструвати співвідношення між позитивними та негативними оцінками починаючи, наприклад, з 2006 року, то ми не відобразимо короткочасного переважання позитиву у 2005 році та хибно стверджуватимемо, що позитив перевищував негатив лише одного разу – у 2019 році.

            Подібна маніпуляція може бути як умисною, так і не зумисною помилкою, якщо автор матеріалу не мав доступу до даних чи доклав недостатньо зусиль, аби віднайти їх.

2. Деякі види маніпуляції соціологів

      Якщо маніпуляції при візуалізації даних можуть застосовуватися сторонніми особами при обробці даних, то певні види маніпуляцій доступні лише соціологам на етапі проведення досліджень та первинної публікації результатів.

      1. Одним із поширених видів маніпуляцій є маніпуляції при формулюванні запитань та варіантів відповідей. Тут можливі ціннісні висловлення у формулюванні запитань, які спрямовуватимуть респондента до певної відповіді; додаткові роз’яснення щодо предмету опитування, які також підводитимуть до потрібної відповіді; невичерпний перелік варіантів відповідей тощо.

      Повний перелік можливих помилок висвітлюється у численних підручниках з проведення соціальних опитувань, у рамках цього матеріалу було б доречно навести кілька прикладів з реальних опитувань.

      Опитування однієї з соціологічних служб щодо способів розв’язання конфлікту на Донбасі, проведене навесні 2019 року, містило наступне запитання та набір відповідей:

      На нашу думку, перелік варіантів відповіді не є вичерпним та включає лише три опції при широкому формулюванні запитання. З наявних опцій варіанти ізоляції окупованих територій та їх повернення військовим шляхом для більшості громадян є менш прийнятними порівняно з наданням автономії, тому можна зробити висновок, що наявний перелік варіантів відповіді скеровує респондента до однієї з відповідей.

      Іншим прикладом є запитання: «Чи підтримали б Ви рішення про надання автономії в складі України непідконтрольним територіям Донецької та Луганської областей для припинення бойових дій і мирного врегулювання конфлікту на Донбасі?». На нашу думку, уточнення, що надання автономії відбувається для припинення бойових дій та мирного врегулювання, скеровує респондента до позитивної відповіді. Насправді ж це уточнення не є обов’язковим, адже з контексту та інших запитань опитування зрозуміло, що питання про автономію цих територій випливає саме з теми пошуку шляхів  врегулювання конфлікту на Донбасі.

      2. Підміна відсотками реальних кількостей для приховання недостатності вибірки. При аналізі двовимірних таблиць (як представники того чи того регіону, вікової групи, прихильники партій відповідають на ті чи ті запитання) важливим критеріям для надійності даних є достатність кількості респондентів у соціальній групі.

      Розглянемо думки прихильників парламентських партій щодо того, який варіант гарантування безпеки був би найкращим для України, на прикладі опитування Фонду «Демократичні ініціативи» від серпня 2019 року:

            На перший погляд, розподіл відповідей не показує суперечливих результатів. Однак насправді дані для ВО «Батьківщина» та «Голосу» не є надійними, оскільки в опитуванні Фонду «Демократичні ініціативи» від серпня 2019 року налічувалося лише 66 респондентів, які були прихильниками ВО «Батьківщина», та 37 виборців «Голосу». Суто математично отримати відсоткові значення від таких загальних кількостей неважко, однак такої кількості респондентів недостатньо, аби робити надійні висновки про їхні настрої.

            3. Приховання відомостей про методологію проведення досліджень. Ця маніпуляція може призводити до багатьох типових помилок при інтерпретації результатів опитувань.

            Відомим прикладом є опитування Центру «Соціальний моніторинг», SOCIS та Українського інституту соціальних досліджень ім. Олександра Яременка, проведене у червні 2018 року:

            Якщо звернути увагу на опис вибіркової сукупності, можна з’ясувати, що опитування не проводилося у обласних центрах (формально опис методології на інфографіці є, хоча ця особливість вибірки не підкреслена авторами інфографіки). Це означає, що результати опитування не можна поширювати на все населення України, адже воно було проведене на вибірці, яка не представляє цю генеральну сукупність. Втім, споживач інформації, який не зверне увагу на опис методології, може хибно екстраполювати результати опитування на усе населення України.

3. Маніпулятивне або невідповідне використання даних у заголовках новин

Використання результату опитування на суспільно важливу тему є гарним способом зробити ефектний заголовок новини, щоб привернути увагу  читача. Однак часто надані заголовку елементи «сенсаційності» спотворюють сприйняття читачем справжніх результатів опитувань. Для ілюстрації розглянемо кілька прикладів.

1.   Заголовок новини агентства UNN щодо результатів опитування про ставлення громадян до реформ: «Понад 60% українців вважає, що антикорупційна реформа є першочерговою – опитування».

Заголовок як такий не містить фактологічних помилок, але подібне формулювання наштовхує на думку, що якщо для 60% громадян першочерговою є антикорупційна реформа, то усі інші реформи вважають першочерговими решта 40% громадян. Насправді ж згадане запитання має множинні відповіді, тобто сумарна кількість відсотків може перевищувати сто (відсотки навпроти кожного варіанту відповіді означають відсоток від загальної кількості респондентів, які обрали цей варіант відповіді у своїй анкеті). Реальний розподіл відповідей зображено на графіку:

            Як видно з наведених даних, антикорупційна реформа не набагато більш важлива для громадян України, аніж реформа охорони здоров’я та реформа системи соціального захисту. Натомість заголовок новини акцентує увагу саме на антикорупційній реформі.

2. Заголовок новини видання УНІАН щодо результатів опитування про шляхи відновлення суверенітету над окупованим Донбасом: «Майже 70% українців готові піти на компроміс з РФ заради миру на Донбасі — опитування»

На противагу попередньому прикладу цей заголовок веде до помилкового уявлення читача про висвітлювану проблематику. У даному разі 70% громадян, які у грудні 2018 року готові були йти на компроміси з РФ та самопроголошеними республіками, є показником, який об’єднує дві суттєво відмінні категорії:

Як бачимо, 16% громадян готові погодитися на будь-які компроміси (у тому числі й вигідні Росії), а 51% готові йти на компроміси, але не на всі, що є змістовно відмінним явищем. Об’єднувати ці категорії без спотворення сенсу можна лише з уточненням, що на будь-які компроміси погоджуються лише 16%. Наведене у виданні УНІАН формулювання заголовку може привести до хибних інтерпретацій.

3. Заголовок новини видання Українська правда щодо результатів опитування Центру Разумкова про довіру до Уряду України (лютий 2020 р.): «Діяльність уряду і Гончарука підтримує лише 6% українців».

Таке формулювання заголовку найбільш імовірно є саме умисною маніпуляцією. Реальний розподіл відповідей респондентів у опитувані Центру Разумкова можна побачити на наступній діаграмі:

Як видно з даних, окрім 6% громадян, які повністю підтримують діяльність уряду, ще 34% підтримують окремі заходи уряду. Натомість акцент у заголовку лише на 6%, які повністю підтримують уряд, спотворює враження читача та наштовхує на думку, що решта 94% громадян його не підтримують.

4. Озвучення недостовірної інформації з посиланням на авторитетні соціологічні компанії

Якщо попередні приклади є ілюстраціями умисної чи неумисної маніпуляції з реальними даними, то поширеним є й фабрикування інформації,  яка абсолютно не відповідає дійсності, але містить посилання на дані опитувань авторитетних соціологічних компаній, аби зробити ці неправдиві заяви переконливими для читача.

1. Наприклад, у вересні 2018 року Фонд «Демократичні ініціативи» ім. Ілька Кучеріва виступив із заявою про маніпуляційне використання даних Фонду під час одного з ефірів телеканалу «112 Україна». Посилаючись на  соціологічне опитування «Демініціатив» та Центру Разумкова,  в ефірі стверджувалося, що останні результати громадської думки «засвідчують зростання популярності партії «За життя».  Насправді, як показують дані опитувань, ніякого «зростання популярності партії «За життя!» не відбувається: у грудні  2017 року за неї були готові проголосувати 6,7% населення, у травні  2018 року – 6,0%, у серпні  2018 року – 6,1%.  Не зріс також і рейтинг Рабіновича як кандидата у президенти: у грудні 2017 року – 5,8%, у серпні 2018 року – 5,3%. Не зросли й рейтинги довіри до Рабіновича: у грудні 2017 року він становив 17,8%, у серпні 2018-го – 15,6%.

На жаль, оперативно відстежити та відреагувати усі подібні випадки озвучення недостовірної інформації із посиланням на соціологів дуже важко.

2. Схожим прикладом маніпуляції у телевізійних ефірах з соціологічними даними є, наприклад, ефір 5-го каналу, під час якого представник партії «Слуга народу» заявив, що «Людей, які виступають за мир проти війни, більше 70%, причому значна частина з них виступає за мир на будь-яких умовах». Приклад опитувань громадської думки щодо вирішення конфлікту на Донбасі вже наводився раніше, і , як зазначалося, за мир на будь-яких умовах виступають не більше 20% громадян України.

У цьому разі не можна однозначно стверджувати, чи була ця заява умисною маніпуляцією чи неумисною помилкою. Втім, телевізійні ефіри через специфіку жанру створюють ризики поширення таких неправдивих заяв, адже в учасників дискусії немає часу перевірити достовірність тверджень своїх опонентів, а далеко не всі глядачі критично сприймають подібну інформацію та перевіряють її.

3. Ще одним прикладом неправдивих повідомлень у ЗМІ із посиланням на результати соціологічні дані є новина одного з інформаційних порталів про «таємні дані соціологів». Насправді жодних таємних опитувань Фонд «Демократичні ініціативи» разом з КМІС та Центром Разумкова не проводили, а наведені у новині дані недостовірні. Якщо звернути увагу на «переможця» виборів, згідно з наведеними у матеріалі даними, можна зрозуміти, на замовлення яких кандидатів створюються подібні новини.

5. Особливості інтерпретації результатів опитувань через специфіку формулювання запитань

Позитивне чи негативне сприйняття тих чи інших результатів опитувань може відрізнятися залежно від формулювання запитань. Для ілюстрації наведемо приклади опитувань Фонду «Демократичні ініціативи» та КМІС.

Як видно, результати опитувань практично не відрізняються – близько 51–52% громадян бажають вступу України до ЄС. Однак якщо розглядати цей показник у контексті проведення референдуму, він видається більш оптимістичним, адже інші варіанти мають меншу підтримку громадян, а тому за результатами такого референдуму було б схвалено вступ України до ЄС.

Якщо ж розглядати це питання без контексту проведення референдуму, то той факт, що половина населення сумнівається чи відверто не хоче вступу України до ЄС, змушує задуматися над доцільністю такого рішення, адже вступ до ЄС може викликати незадоволення значної частини громадян.

Схожим прикладом є динаміка підтримки незалежності України серед громадян, відображена у інфографіці видання «Слово і діло»:

Як видно з даних, до 2011 року близько 51–53% громадян проголосували б за незалежність України на теоретичному референдумі. Якщо умови визначення результату референдуму не передбачають досягнення певного бар’єру (наприклад, 60% чи вище), то ідея незалежності в цілому буде підтримана, але серйозною проблемою лишається значна кількість громадян, які сумніваються у доцільності незалежності України. Варто уникати також і хибних порівнянь результатів референдуму 1991 року та результатів опитувань через:

1. те, що відомі результати референдуму обраховані для тих, хто в ньому взяв участь, у той час як опитування відображають частку від усього населення;
2. різницю у суспільно-політичних та історичних умовах;
3. різницю у реальній поведінці громадян та відповідях щодо гіпотетичної ситуації.

Іншим прикладом специфіки інтерпретації через формулювання запитань може слугувати опитування Фонду «Демократичні ініціативи» щодо ринку землі:

            На графіку порівнюються відповіді респондентів на запитання про можливі варіанти відкриття ринку землі у грудні 2011-го та серпні 2019 року. Можна помітити, що у 2019 році порівняно з 2011-м істотно знизилася частка респондентів, які вважають, що земля в жодному разі не може бути предметом купівлі-продажу. Логічно припустити, що за вісім років погляди людей змінилися у бік більшої готовності до відкриття ринку земель у тому чи іншому вигляді.

            Насправді ж, хоча саме запитання мало однакове формулювання у 2011 та 2019 роках, дещо відрізнялася почерговість запитань у анкетах. У 2019 році цьому запитанню передувало запитання «Як Ви вважаєте, чи повинна людина, яка має у власності землю, мати право її продати?», яке було відсутнім у анкеті 2011 року. На нашу думку, саме це запитання вплинуло на подальші відповіді респондентів, оскільки певною мірою змінило ціннісний підхід до проблеми ринку землі на підхід, що засновується на праві людини розпоряджатися своєю власністю. Тому хибною є інтерпретація, що погляди людей змінилися природним чином.

6. Критичне ставлення до результатів опитувань

Результати соціологічних досліджень не варто сприймати як незаперечну істину, оскільки громадська думка з тих чи інших питань може бути не сформованою чи внутрішньо суперечливою.

1. Для ілюстрації розглянемо наведений вище приклад опитування про ринок землі, проведеного у червні 2019 року. Якщо побудувати таблицю спряженості для запитань про варіанти відкриття ринку землі і запитання про право людини розпоряджатися своєю землею та продавати її, отримаємо наступний результат:

Як бачимо, близько 10% тих, хто вважає, що земля в жодному разі не може бути предметом купівлі-продажу, говорять, що людина повинна мати право продавати свою землю. Вочевидь, ці міркування входять у пряму суперечність між собою, але через несформованість громадської думки щодо ринку землі та поєднання різних підходів до розуміння ринку землі можуть виникати такі оксюморони.

2. Схожим прикладом є результати опитування щодо ставлення до судової реформи, проведеного також у червні 2019 року. У рамках опитування ставилося запитання про обізнаність респондента про хід реформи, а також про думку респондента щодо результатів реформи. Якщо скласти таблицю спряженості відповідей на ці два запитання, отримаємо такий результат:

   Як бачимо, близько 56% громадян, які критично сприймають нинішній перебіг судової реформи, зізнаються, що майже нічого про неї не знають або зовсім не обізнані про реформи. Такі результати опитування є корисними для розуміння загального емоційного сприйняття населенням тих чи інших реформ, але при ухваленні політичних рішень необхідно розуміти, що негативне емоційне сприйняття часто нераціональне і що  значна кількість громадян за замовчуванням критично сприймають державну політику в тих чи інших сферах, поки на особистому досвіді не переконаються в успішності реформи або поки їх не переконають джерела, яким ці люди довіряють.

Самостійно з’ясувати подібні феномени майже неможливо, оскільки для побудови таблиць спряженості між різними запитаннями необхідно володіти масивом даних опитування, яким володіють лише соціологічні служби, а такі масиви, як правило, не публікуються у відкритому доступі. Але варто звертати увагу на пояснення соціологічних компаній про подібні феномени, коли такі пояснення публікуються.

3. При інтерпретації результатів опитувань на деякі специфічні теми також варто враховувати рівень знань респондентів на тему опитування. Наприклад, розглянемо результати опитування Центру Разумкова про ідеологічні вподобання українців, проведеного влітку 2018 року. Результати опитування відображені на наступній діаграмі:

Як бачимо, більшість громадян не відносить себе ані до «лівих», ані до «правих». Однак важливо уникнути хибної інтерпретації, що 58% українців є переконаними центристами. Найімовірніше, для більшості з цих людей маловідомим є зміст поняття «лівих» та «правих» ідеологій, тому вони розташовують себе по центру, аби не належати до прихильників жодної з цих ідеологій. Тобто, по суті, значну частину цих відповідей варто розуміти як «Важко відповісти».

Отже, при роботі з соціологічними даними, важливо уникати маніпуляцій та розпізнавати неумисні помилки у презентації та інтерпретації даних, оскільки соціальні опитування, окрім інструменту вимірювання громадської думки, є й потужним інструментом впливу на громадську думку. Надзвичайно важливо вміти коректно користуватися цим науковим методом вивчення суспільних настроїв, не допускаючи перетворення його на інструмент політичних маніпуляцій громадською свідомістю.