Вибірка — відсутні обговорення щодо ризиків відбору
Вибірки можуть бути випадкові та невипадкові. В перших всі респонденти з генеральної сукупності мають однаковий шанс потрапити у вибірку. В других респонденти потрапляють за певним правилом відбору (наприклад, людина, яка відповідає квоті, за визначенням має більші шанси потрапити у вибірку).
Але в обох випадках суттєвою є проблема відбору «зручних» респондентів, які більш схильні йти на зустріч. У літературі зі статистики цю проблему називають selection bias — похибка (або упередження чи зміщення) ще на етапі відбору. Можливо, є люди, які з самого початку схильні надавати відповіді, вони більш схильні довіряти іншим чи відкривати двері. Або інший варіант: можливо, під час проведення інтерв’ю пенсіонери чи безробітні були ймовірніше вдома, у той час, як молодші та активніші були на роботах.
Процитуємо статтю на ДТ: «45% опитаних — не працюють. Через вік і безробіття«. Дійсно, можна сміливо припустити, що такий великий відсоток це просто тавтологія. Доступні люди, які сиділи вдома, мали більшу ймовірність опинитись в фінальному масиві даних. Не факт, що ця цифра щось говорить про реальне безробіття.
У своєму інтерв’ю Олег Синаюк сказав: «Коли інтерв’юер заходив до квартири або в будинок, дивилися на предмет того, наскільки людина адекватна. Якщо суб’єктивно інтерв’юер відчував, що люди могли після цього викликати міліцію, кудись зателефонувати, він йшов далі».
Тобто, інтерв’юери дуже ретельно відбирали до кого вони можуть зайти, шукали контакт, спілкувались лише з безпечними та адекватними людьми, відкидаючи інші варіанти (що зрозуміло). Відповідно вони не просто йшли за квотами, а за визначеннями наповнювали квоти такими людьми, які систематично (невипадково) відрізняються від тих, які до інтерв’ю не запрошувались.
А отже, й імовірність пройти всі пастки та телефонний контроль також зростала. Увесь цей процес — це пряме визначення selection bias. Замовчування таких деталей (або нерозуміння цієї проблеми) — дуже безвідповідально для соціологів і є порушенням професійного стандарту.
Що можна робити в такій ситуації?
1. Систематичні похибки складно вимірюються. Уникати їх можна, якщо обирати інші методи опитування, які менш уражені від цих недоліків — те саме телефонне опитування чи стратифіковані вибірки з випадковим відбором на останньому етапі.
2. Вплив систематичної похибки можна скоригувати під час аналізу, якщо були зібрані дані про тих людей, які відмовили (де, як, за яких умов). Якщо такі самі дані були зібрані про опитаних, можна застосувати спеціальні статистичні тести для перевірки різниці між ними. У звіті варто вказати, чи були зібрані такі дані.
3. В звіті та публікаціях варто обговорювати обмеження, а не приховувати їх.