Чому не можна довіряти результатам психологічних досліджень
Фраза «Вчені довели, що…» автоматично асоціюється у нас з інформацією, якій можна довіряти. Ми прочитуємо статтю, віримо, беремо нові знання на озброєння. Але нам варто бути обережніше і кожен раз включати внутрішнього критика, адже далеко не всі психологічні дослідження заслуговують довіри.
Нещодавно багато видань опублікували результати дослідження, згідно з яким чоловічий і жіночий мозок відрізняються, і всі спекуляції з цього приводу були оголошені неспроможними. Тепер навіть якось соромно дарувати книгу «Чоловіки з Марса, жінки з Венери», а то скажуть, що ви не цікавитеся останніми досягненнями науки.
Насправді не варто викидати подарунок у сміттєвий бак. Книга хороша. А ось безапеляційність вчених і результатів їх робіт не так однозначна, якою могла б здатися. Не минуло й 24 годин з моменту публікації дослідження про ідентичність мозку чоловіка і жінки, як наукові співробітники змогли спростувати його і розповіли: жіночий мозок старіє повільніше чоловічого.
Потім ми дізналися про результати ще одного нового психологічного експерименту. На цей раз вчені вирішили дослідити сферу медицини. Вони провели опитування тих пацієнтів, які найчастіше звертаються до лікарів. Виявилося, що постійні відвідування клініки з приводу вирощують в людині впевненість у власних знаннях. Він стає агресивним і тисне на лікуючого лікаря, вимагаючи виписати більш сильні і дієві препарати, наприклад антибіотики. Дослідження говорить: дев’ять з десяти лікарів зізнаються, що піддаються впливу таких активних пацієнтів, і цю проблему потрібно вивчати далі.
Приблизно в той же момент, як був опублікований вищеописаний доповідь, в ЗМІ з’явилися результати іншої роботи. Вони показали, що більше половини британських жінок не можуть обговорювати питання сексу і сексуального здоров’я зі своїм лікарем, тому що соромляться робити це. Молоді дівчата неохоче відвідують лікаря, насилу можуть описати симптоми або задати питання, що стосуються статевих органів. І 25% жінок зізналися, що їм дуже складно просто підібрати потрібні слова для того, щоб назвати частини свого тіла лікаря.
Яка ж частина цих жінок входить в список активних пацієнтів і як корелюють результати першого дослідження з другим?
Всі ці парадокси і розбіжності були б смішними, якби не той факт, що нас буквально оточують заголовки «Вчені довели, що…» і «Результати дослідження говорять про…». ЗМІ люблять психологів та їх заяви. Наприклад, The Times регулярно публікує подібні статті, одного разу представивши відразу п’ять матеріалів на дану тему за один день. Видання розповіло про те, як зовнішність кращих друзів впливає на наше особисте життя; про розвиток клінічної депресії у тих, хто займається нудною роботою; як діти намагаються самостійно лікувати депресію за допомогою порад в інтернеті; про те, що на робочому місці люди почувають себе більш самотніми, ніж у відпустці; і про те, як батьки здатні піти на обман заради того, щоб їх чадо вчилося в хорошій школі. І вже на наступному тижні видання The Sunday Times випустило величезний матеріал, що розповідає про нашу психологічної життя і зміни в ній.
Ця нова категорія новин не так вже погана і останнім часом стає однією з найбільш затребуваних і актуальних. Але нам потрібно закликати на допомогу всю свою розсудливість, щоб правильно інтерпретувати результати всіх цих досліджень. Справа в тому, що психологічні експерименти відрізняються не тільки сферою інтересу, але і якістю виконаної роботи. Деякі з них проводяться професійними психологами, деякі — соціологічними організаціями, а деякі — благодійними. Також у дослідженнях часто беруть участь державні або комерційні організації. Тому подібні дослідження не можна вважати об’єктивними, їх методологія та охоплення як мінімум повинні викликати у вас підозру.
Скільки людей взяли участь у дослідженні? Наскільки комплексним був статистичний аналіз? Добре продумана загальна концепція?
Від того, як ви відповісте на ці питання, залежить спроможність дослідження і його результатів.
Але і це ще не все. Достовірність або ненадійність психологічних досліджень були піддані ще більш потужній атаці, ніж проста перевірка на об’єктивність і правильну методологію. Вперше були висловлені сумніви в 2013 році, коли Джон Айонидис (John Ionnidis), эпистемолог з Стэндфордской медичної школи, опублікував свою знамениту роботу. Вона була присвячена неврології, яку прийнято вважати жорсткою формою психології. Саме в цій сфері науки широко використовується функціональна МРТ як спосіб фіксації роботи мозку. Незважаючи на потужний медичний інструментарій, професор вважає результати неврологічних досліджень ненадійними і описує явище вуду-кореляції. Під цим терміном розуміється неправильна інтерпретація зв’язку між активністю мозку і поведінкою людини.
Вуду-кореляція може виникати з-за неякісного використання функціональної МРТ або поганої роботи з отриманими даними. Перевірка 53 досліджень на предмет наявності цієї вуду-кореляції показала: половина з них ненадійні, а висновки містять серйозні вади. Інший аналіз продемонстрував: методологічні помилки містилися в 42% робіт з 134 опублікованих.
Існує ще одна проблема, про яку мало хто згадує. Більшість психологічних досліджень практично не можна відтворити так, щоб отримати той самий результат. Для того щоб довести існування такого явища, був проведений масштабний експеримент, в якому брали участь 270 наукових співробітників зі всього світу. В рамках проекту вчені спробували повторити більше сотні психологічних експериментів, результати яких раніше публікувалися в трьох найбільших наукових журналах:
Psychological Science;
Journal of Personality and Social Psychology;
Journal of Experimental Psychology: Learning, Memory and Cognition.
Іншими словами, метою даної роботи було перевірити ті дослідження, які в свій час удостоїлися публікації в самих відомих і поважних виданнях.
Результати виявилися невтішними. По-перше, з’ясувалося, що який пророкують ефект на практиці в середньому був удвічі меншим. Наприклад, якщо нова методика навчання обіцяла поліпшити освітній процес на 12%, на практиці виходило тільки 6% прогресу. По-друге, первинні дослідження оцінювали 97% отриманих даних як статистично значущі. А ось повторно проведений експеримент показав: використовувати для роботи можна тільки 36% отриманої інформації. Крім того, багато психологічні дослідження відтворити взагалі не вийшло, будь-яка спроба закінчувалася провалом.
Про що це говорить? Ми володіємо величезним апетитом і хочемо знати більше про свою емоційної, соціальної та інтелектуальної життя. Ми зацікавлені у собі так, як ні в кому і ні в чому іншому. Але однієї фрази «Вчені довели, що мозок жінки ідентичний мозку чоловіка» недостатньо для того, щоб ви розслабилися і прийняли цей факт на віру.
Вмикайте внутрішнього критика! Єдине, в чому ми можемо бути впевнені: мозок жінки і мозок чоловіки повинні бути однаково скептичні.