Gdy powtórzono 100 opublikowanych badań psychologicznych, wiele efektów wyraźnie osłabło
W 2015 roku Open Science Collaboration opublikowała wyniki dużego projektu replikacyjnego obejmującego 100 badań eksperymentalnych i korelacyjnych z trzech czasopism psychologicznych. W pracach oryginalnych 97% wybranych wyników było istotnych statystycznie, natomiast w replikacjach 36%; średnia wielkość efektu w replikacjach wynosiła około połowy wartości z publikacji pierwotnych. Nie oznacza to, że „64% psychologii było fałszywe”. Autorzy sami używali kilku różnych kryteriów sukcesu i podkreślali, że żadna pojedyncza miara nie opisuje replikowalności. Późniejsze projekty, takie jak Many Labs 2, również pokazywały mieszaninę dobrze i słabiej replikujących się efektów. Najciekawsza lekcja dotyczy samej nauki: powtórzenie badania na nowych danych jest osobnym źródłem wiedzy, a nie formalnością.
Po co powtarzać badanie, które już zostało opublikowane
W nauce pojedynczy wynik może zależeć od przypadku, konkretnej próby, decyzji analitycznych albo warunków, których znaczenia początkowo nie rozumiemy. Replikacja próbuje odtworzyć kluczowe elementy procedury i sprawdzić, czy na nowych danych pojawia się podobny wynik. Open Science Collaboration zorganizowała jeden z najbardziej znanych takich projektów w psychologii. Zespoły próbowały odtworzyć 100 badań opublikowanych w trzech czasopismach, korzystając z materiałów autorów, przeglądu planów i projektów o wysokiej mocy statystycznej w stosunku do efektów raportowanych pierwotnie.
Liczby były uderzające, ale nie mają jednej prostej interpretacji
W oryginalnych pracach 97 procent wybranych wyników miało p poniżej 0,05, podczas gdy w replikacjach było to 36 procent. Średni efekt replikacyjny miał wielkość około połowy efektu pierwotnego. Autorzy sprawdzali jednak również inne kryteria: czy oryginalny efekt mieścił się w przedziale ufności replikacji, jak zespoły subiektywnie oceniały sukces oraz jaki obraz powstaje po połączeniu obu wyników. Te wskaźniki nie dawały identycznych odpowiedzi. Dlatego zamiana wyniku na zdanie „tylko 36% badań było prawdziwych” jest metodologicznie błędna.
Nieudana replikacja nie jest automatycznie dowodem nieistnienia efektu
Jeśli replikacja nie osiąga progu istotności, istnieje kilka możliwych wyjaśnień. Pierwotny efekt mógł być zawyżony lub przypadkowy, replikacja mogła nie odtworzyć istotnego warunku, prawdziwy efekt może być mniejszy niż zakładano albo zjawisko może zależeć od nieznanego moderatora. Właśnie dlatego duże projekty używają wielu kryteriów i jawnych procedur. Replikowalność jest stopniem zgodności dowodów, a nie prostym egzaminem „prawda/fałsz”. Szczególnie przy efektach małych pojedyncze badanie może dać wynik istotny albo nieistotny z powodów czysto statystycznych.
Many Labs 2 sprawdziło, czy miejsce badania wyjaśnia problemy
W projekcie Many Labs 2 zespoły z 36 krajów i terytoriów przeprowadzały prerejestrowane replikacje 28 efektów na 125 próbach obejmujących łącznie 15 305 uczestników. Przy konwencjonalnym kryterium istotności 15 z 28 efektów dawało wynik w oryginalnym kierunku. Co ciekawe, dla wielu efektów różnice między próbkami i miejscami były mniejsze, niż można byłoby oczekiwać, więc nie dało się wszystkiego wyjaśnić hasłem „efekt działa tylko w odpowiedniej kulturze lub laboratorium”. Projekt pokazał wartość powtarzania tej samej procedury w wielu ośrodkach jednocześnie.
Skąd mogła brać się przewaga efektów pierwotnych
Jednym z problemów literatury naukowej jest selekcja wyników. Badania z wyraźnym, statystycznie istotnym rezultatem są łatwiejsze do opublikowania i przyciągają więcej uwagi, podczas gdy wyniki bliskie zeru mogą pozostać w szufladzie. Do tego dochodzi elastyczność analityczna: jeśli badacz ma wiele sposobów definiowania zmiennych, wykluczania obserwacji czy zatrzymywania zbierania danych, szansa znalezienia atrakcyjnego wyniku rośnie. Duże projekty replikacyjne przyspieszyły rozwój prerejestracji, jawnych danych, większych prób i raportowania analiz niezależnie od tego, czy efekt przekracza arbitralny próg p.
Kryzys replikacyjny jako mechanizm naprawczy nauki
Słowo „kryzys” sugeruje awarię, ale równie ważna jest druga strona historii. Psychologia wykryła problem za pomocą własnych metod i zaczęła budować narzędzia, które mają go ograniczać. Registered Reports pozwalają oceniać wartość pytania i metody przed poznaniem wyniku, prerejestracja utrudnia po fakcie przedstawianie analiz eksploracyjnych jako zaplanowanych, a wielolaboratoryjne replikacje pokazują stabilność efektów w różnych warunkach. Dlatego ten rekord nie powinien kończyć się tezą, że psychologii „nie można ufać”. Lepsza lekcja brzmi: wiarygodność nauki rośnie, gdy wyniki mogą być niezależnie sprawdzane, a nie tylko efektownie opublikowane za pierwszym razem.
Co zmieniło się w praktyce publikowania badań
Debata replikacyjna przyspieszyła rozwój narzędzi, które utrudniają dopasowywanie historii do wyniku po jego poznaniu. W prerejestracji badacze zapisują hipotezy i plan analizy przed obejrzeniem danych. Registered Reports idą dalej: czasopismo może zaakceptować projekt do publikacji na podstawie pytania i metod jeszcze przed uzyskaniem rezultatu. Dzięki temu wynik zerowy nie staje się automatycznie mniej atrakcyjny redakcyjnie. Otwarte materiały i dane ułatwiają natomiast niezależne sprawdzanie analiz oraz dokładniejsze replikacje. Te praktyki nie gwarantują nieomylności, ale zmieniają strukturę bodźców działających na cały system naukowy.