Фактчек

Науковий метод Як працює наука і чому їй варто довіряти

Kuma Kum / Unsplash

Kuma Kum / Unsplash

У квітні цього року лауреат Нобелівської премії з медицини Люк Монтаньє заявив, що коронавірус SARS-CoV-2, який викликає COVID-19, це напівштучний вірус. Наукова спільнота спростувала цю заяву. І то не єдиний випадок: ЗМІ, представники міжнародних організацій та вчені іноді поширюють неперевірені або попередні результати, або взагалі конспірологічну та фейкову інформацію.

У червні розгорівся скандал стосовно неперевірених досліджень, які були опубліковані у журналах The Lancet та The New England Journal of Medicine. Вони нібито виявили, що застосування гідроксихлорохіну підвищує смертність пацієнтів з COVID-19. Після цього ВООЗ та деякі інші лабораторії зупинили його тестування. Але гідроксихлорохін вже десятки років застосовують у лікуванні малярії, тому деякі вчені поставили під сумнів висновки цих досліджень. Коли три автори статті захотіли перевірити первинні дані, компанія з аналізу даних під назвою Surgisphere, яку очолює четвертий автор статті, відмовила їм. Тому публікації були відкликані.

Як вірити науці після такого? Але не все так погано. Річ у тому, як писав соціолог та методолог науки Карл Поппер, що “наука - одна з небагатьох людських активностей, можливо єдина, де помилки систематично критикуються та доволі часто та завчасно виправляються”. Подивімося як це відбувається.

Внутрішній контроль: науковий метод, гіпотеза та експеримент

Наука – це один з методів пізнання навколишнього світу. Є й інші: релігія, філософія, мистецтво. Але тільки наука дозволяє отримувати надійні знання — ті, які були підтверджені науковим методом. Наукове мислення базується на емпіричних даних (їх ми можемо побачити, почути, понюхати, скуштувати та які можемо відтворити самі), на логічному міркуванні та на скептицизмі, який примушує нас постійно піддавати сумніву докази, наявні знання та бути відкритими новому знанню.

Наука оперує класичним науковим методом, у центрі якого гіпотеза. Це постанова питання та пропонування його ймовірного пояснення за допомогою спостереження. Слід додати, що згідно з принципом фальсифікації Карла Поппера гіпотеза має бути такою, яку теоретично можливо спростувати емпіричними результатами. Гіпотеза не повинна базуватися на вірі у неї. Поява можливостей роботи з великим обсягом даних за допомогою машинного навчання може посунути гіпотезо-центричний науковий метод, але гіпотеза все одно потрібна перед початком роботи з даними. До речі, відкликане дослідження щодо гідроксихлорохіну повністю базувалося на даних, які були оброблені за допомогою машинного навчання та не врівноважувалось клінічними дослідженнями.

Після формулювання гіпотези проводиться контрольований експеримент. Результати експерименту мають або підтвердити, або уточнити, або відкинути початкову гіпотезу. Результати експерименту мають бути оприлюднені у науковому виданні, бо тільки таким чином вони можуть бути перевірені, відтворені та визначені як наукове знання. Так поширюється наукове знання: інші дослідники отримують передову якісну інформацію та беруть її до уваги. У разі чого вони коригують свою практику, базуючись на своєму досвіді та експертизі. Або, як казав Майкл Фарадей - “Працюй. Закінчуй. Публікуй”.

Зовнішній контроль: редактор та рецензенти

Перед публікацією дослідження проходить перевірку, редакторську раду та рецензування. Рецензування– ретельний розгляд роботи іншими дослідниками – експертами в області, яка стосується дослідження. Рецензування спрямоване на те, щоб автор дотримувався високих стандартів своєї дисципліни. Воно має на меті підтвердити, що статті, які опубліковані у наукових журналах, стосуються значних дослідницьких питань та містять дійсні висновки, які базуються на професійно виконаних експериментах.

Рецензування затягує процес публікації нових винаходів та не виключає можливої упередженості редакторів та рецензентів. Але поки що немає інших перевірених засобів оцінювання якості дослідження. Значення рецензування лише збільшилося з появою онлайн-журналів, де статті можуть публікувати з мінімальним рецензуванням, або й без нього.

Коли виникає помилка

Попри попередню перевірку матеріалу, помилки все ж трапляються. Вони можуть бути технічними та не впливати на початкові припущення та кінцеві результати, як от ненавмисна описка. Такі помилки виправляються завдяки ерратуму, на який скеровується увага читача.

А от якщо є відверта фабрикація результатів чи порушення стандартів наукової поведінки та етики, тобто плагіат, автоплагіат, стаття вилучається. Дослідження більше не є дійсним. Це ми можемо бачити на прикладі вилучення статті, про яку ми розповідали вище, з журналів The Lancet та The New England Journal of Medicine.

Коли виникає велика помилка

Вилучення статей трапляється рідко, але може мати великі наслідки для авторитету цілої області. На 2015 рік, за даними Retraction Watch, кількість вилучених у рік статей досягає 500 у порівнянні з 1,4 мільйона опублікованих статей.

Випадкова вибірка з 2046 статей, вилучених з 1975 по 2019 р. показала, що переважна більшість статей не містила такого розділу, як «Обмеження дослідження», а в інших він був нечітким та беззмістовним. Іншими словами – автор не вказав рамки та умови свого дослідження, які важливі для розуміння результатів дослідження. В 10% випадків причин вилучення не пояснено. Також існує проблема, що на вилучені статті все одно продовжують посилатися.

Якщо хочете повідомити про порушення наукових стандартів, на сайті Pubpeer можна анонімно описати свої сумніви щодо якості публікації.

Все це називається самовиправленням науки. Навіть те, що вчені виявляють та описують недоліки робіт — вже є успіхом, бо демонструє захисний механізм, притаманний науці.

Так виглядає сторінка публікації про гідроксихлорохін на сайті The Lancet, яку було відкликано.

Так виглядає сторінка публікації про гідроксихлорохін на сайті The Lancet, яку було відкликано.

Коли не вдається повторити експеримент

Останнім часом пишуть про кризу відтворення наукових результатів: деякі експерименти, проведені іншими вченими, не дають результатів, що сходяться з вже опублікованими. У 2016 році журнал Nature провів опитування 1575 вчених, яке показало, що понад 70% дослідників не змогли відтворити експерименти інших, та більша частина не змогли отримати ті ж самі результати, які вони самі отримали раніше.

Вчені зійшлися на тому, що основні причини цього є вибіркове представлення фактів(публікація тільки тих експериментів, які підтверджують гіпотезу); тиск, який примушує вчених постійно публікуватися, та поганий статистичний аналіз результатів.

Проблема відтворення наукових результатів може бути причиною вилучення статті, але вона стосується розробки дизайну дослідження та не є недоліком самої науки. Щоб допомогти вченим дотримуватися початкової гіпотези, була заснована “відкрита наукова платформа”, Open Science Framework. Там науковці можуть вказати, над чим вони працюють та оприлюднити гіпотезу, а потім вже провести дослідження.

Серед порад, які можуть допомогти розв’язати проблему відтворення результатів, майже 90% опитуваних вчених назвали поліпшення знань в статистиці, активізацію менторства інших вчених та більш продуманий дизайн дослідження. А проте, розповсюдженою практикою серед вчених є повторне проведення експерименту самотужки або колегою, посилення документації та стандартизації методів експерименту.

pixabay

pixabay

Неякісні дослідження: звідки вони та як цьому запобігти

Проблема з публікацією невдосконалених статей має різні причини. По-перше, наукові журнали схильні публікувати ті дослідження, де гіпотеза підтвердилася. По-друге, вчені також схильні до підтверджувального упередження: вони беруть до уваги те, що підтверджує їхню гіпотезу та не дуже акцентують увагу на тому, що її підриває. По-третє, отримання грантів та нагород вченими пов'язано з кількістю опублікованих ними досліджень. Це примушує вчених публікувати якомога більше статей.

Дослідник у галузі наукової методології Джон Іоаннідіс пише, що засобами, які можуть покращити якість опублікованих статей може стати проведення досліджень великим колом вчених, введення культури відтворення досліджень, реєстрація та розповсюдження результатів досліджень, стандартизація визначень, покращення стандартів розробки досліджень, необхідність рецензування, покращення статистичних методів, а також підготовка наукової робочої сили.

Для подолання проблеми запропоновано ввести не тільки індекс цитування наукових журналів, але й індекс відтворення результатів наукових досліджень.

Як самостійно оцінити якість наукової статті

Автор наукового блогу про хімічні сполуки Єнді Бранінг написав поради, які допоможуть відрізнити псевдонауку від справжньої та якісні публікації від неякісних.

У дослідженні має бути зазначено достатній розмір вибірки – чим вона більше, тим більше довіри до дослідження, хоч іноді вибірка буває маленька. Якщо вона стосується суспільства, то має бути репрезентативною для усього суспільства. Експерименти, особливо клінічні, повинні мати контрольну групу, яка обирається рандомно (випадково) та за допомогою якої порівнюється експериментальна група.

Підвищує якість дослідження проведення сліпого експерименту, коли учасники не знають, дають їм плацебо чи досліджувану речовину, та подвійного сліпого експерименту, коли не тільки учасники, але й науковці не знають, що отримують учасники.

Результати дослідження мають бути підтверджені та інші вчені можуть незалежно їх відтворити. Вчені не повинні обирати тільки ті результати, які підтверджують їхню гіпотезу, це – вибіркове представлення фактів. Також має бути повідомлення про вилучених з експерименту учасників, їх результати та причини вилучення, адже вибуття учасників може бути пов’язаним з особливістю досліджуваного явища. Окрім того, дослідження має пройти рецензування.

Як ми бачимо у випадку вилучених статей щодо гідроксихлорохіну, не було проведено рандомізованого контрольованого дослідження. У цьому випадку були ретроспективно взяти дані абсолютно різних пацієнтів з 671 лікарні на 6 континентах: є ймовірність, що ті, кому давали гідроксихлорохін, вже були у значно гіршому стані, ніж контрольна група. У відчаї лікарі давали їм гідроксихлорохін. Тому він показав погані результати.

Якщо щодо певної гіпотези було проведено декілька рандомізованих подвійно сліпих плацебо-контрольованих експериментів чи їх аналогів для інших наук, і вони розходяться у своїх результатах, науковці звертаються до статистичних методів порівняння цих експериментів. Цей метод називається метааналіз. Це дослідження з найвищим рівнем доказовості, оскільки воно зазвичай включає результати сотень чи тисяч осіб, враховує розмір вибірки та певність результатів кожного окремого дослідження. Для включення статті у мета-аналіз вона має відповідати критеріям якості.

Науковці мають декларувати відсутність конфлікту інтересів та джерела фінансування дослідження. Якщо ж є конфлікт інтересів, це не свідчить про погану якість дослідження, але ви маєте про це знати. Також, як ми бачимо у відкликаній статті, був присутній конфлікт інтересів щодо одночасного авторства та володіння компанією, яка надала первинні дані.

Вчені мають чітко розрізняти висновки, які ґрунтуються на встановлених фактах, а які є спекуляцією. ЗМІ, які розповідають про наукові дослідження, можуть спрощувати та перекручувати результати дослідження помилково або задля сенсаційності. Не повинні бути змішані кореляція та причинність: зв’язок між двома явищами не означає, що одне викликає інше.

Іноді, особливо у часи пандемії, журналісти подають предруковані статті як завершені наукові матеріали та навіть влада деяких країн приймає рішення спираючись на них. Так влади Перу та Болівії взяли у широке застосування івермектин у лікуванні Covid-19, базуючись у тому числі, на предрукованому дослідженні, яке використовувало дані від вже відомої нам компанії Surgisphere. Але цей предрук потім просто було видалено. Робити так – ризиковано, тому що предруковані матеріали не пройшли рецензування та містять тільки попередні результати. Публікація препринтів має на меті обмін науковими результатами задля розв'язання проблеми розповсюдження коронавірусної інфекції. На сайті Retraction Watch вже є підрозділ зі предрукованими матеріалами щодо Covid-19, які були вилучені.


Авторка — магістр політичних та соціальних наук, Університет Страсбурга (Франція), лекторка з медіаграмотності, фактчекерка.


Читайте також