Czy naukowcy się mylą? Czyli co wynikło z nowych „badań nad badaniami”

„Kiedy niezależni naukowcy ponownie analizują dane pochodzące z przeprowadzonych wcześniej badań, dwie trzecie z nich wyciąga inne wnioski – wynika z międzynarodowego badania z udziałem ekspertów z Polski” – informuje na Facebooku serwis „Nauka w Polsce” Polskiej Agencji Prasowej (podkreślenie moje). I linkuje do tekstu.

Innego zdania jest chyba renomowany szwedzki Instytut Królewski, Karolinska Institutet. W notce prasowej o tych samych badaniach pisze, że połowy wyników badań w naukach społecznych nie da się powtórzyć.

To ważne zastrzeżenie. Mowa bowiem o badaniach badań (bo naukowcy czasem badają, jak solidne są badania naukowe) w dziedzinie nauk społecznych i behawioralnych, czyli głównie socjologicznych i psychologicznych.

Uspokoiłem się. To nic nowego. Temat „kryzysu replikacji” w naukach społecznych jest dobrze znany od dekady.

Jednak dwie trzecie czy połowa?

Postanowiłem zajrzeć do jednej z cytowanych prac. W jej streszczeniu czytam: “Of the reanalyses conducted, 74% reached the same conclusion as the original investigation”. Reanalizy w trzech czwartych przypadków prowadziły do tych samych wniosków, co oryginalne (analizowane ponownie) badania. Do przeciwnych wniosków niż w oryginalnej pracy reanalizy prowadziły w jednej czwartej.

Coś tu jest nie tak. Zajmiemy się i tymi liczbami.

2005 rok, czyli „dlaczego większość prac naukowych jest nieprawdziwa”

Mogą jednak mieć Państwo wrażenie, że nauka stanęła w obliczu kryzysu. Owszem, tak było w istocie. I to aż dwa razy. Pierwszy ponad dwie dekady temu, w 2005 roku, drugi równe dziesięć lat później. Na szali była rzetelność pracy naukowców i wiarygodność nauki w ogóle.

W 2005 roku statystyk Ioannis Ioannidis opublikował pracę pod znamiennym tytułem „Why Most Published Research Findings Are False” czyli “Dlaczego większość wyników badań jest nieprawdziwa”.

Ioannidis pisał o tym, że za złą jakość naukowych prac może odpowiadać zbyt mała próba (grupy badanych osób lub próbek), zły (statystycznie niereprezentatywny) dobór próby, źle skonstruowane eksperymenty, uprzedzenia i nastawienie eksperymentatorów, przedstawianie w pracach naukowych tylko wybranych wyników (na przykład pomijanie faktów niezgodnych z tezą autora).

Twierdził, że wiele badań jest słabej jakości, a analizy danych zawierają błędy w przypadku większości opublikowanych badań. Stąd wniosek, że większość publikowanych prac zawiera fałszywe wyniki. Przedstawił też swoje szacunki, że problem dotyczy ponad połowy prac naukowych.

Liczby szacowane przez Ioannidisa zostały uznane za przesadę. Jak wyliczali w 2014 roku statystycy w pracy opublikowanej w „Biostatistics”, badań z fałszywymi wnioskami w naukach medycznych jest bliżej 14 procent (a nie blisko 60 procent, jak twierdził Ioannidis).

Doceniono jednak dyskusję, jaką jego praca wywołała w kwestii jakości prac naukowych w medycynie i w nauce w ogóle.

Wartość p, czyli gdy statystyka prowadzi na manowce

W nauce uznaje się, że wynik badania jest statystycznie znaczący, jeśli szansa, że nie jest on dziełem przypadku, wynosi co najmniej 95 procent. Naukowcy mówią o „wartości p” i zakładają, że musi ona wynieść mniej niż 5 procent (0,05).

Jednak ta wartość prowadzi na manowce. Przy wartości p równej 0,05 nadal pozostaje 5 proc. prawdopodobieństwa, że wynik może być dziełem przypadku. To aż jedna szansa na dwadzieścia.

Jeśli rozważymy 20 fałszywych hipotez, to przy założeniu takich standardów statystycznie jedna z nich wyda się prawdziwa. Trochę dużo, jak na naukowe standardy.

Wartość p to zły wskaźnik. Zupełnie nic nie mówi o tym, czy uzyskany w badaniu wynik jest prawdziwy, czy nie. Niepotrzebne koncentrowanie się na nim może sprawić, że badaczom (oraz recenzentom ich prac) umyka odpowiedź na najważniejsze w badaniach naukowych pytanie: Jakie jest prawdopodobieństwo tego, że testowana przez badaczy hipoteza jest prawdziwa.

Na to pytanie można odpowiedzieć dopiero po przeprowadzeniu wielu takich samych badań w możliwie jak najbardziej podobnych warunkach (to tak zwana replikacja badań). Dopiero wielokrotne otrzymanie takich samych wyników potwierdza, że hipoteza jest prawdziwa.

Dlatego w nauce niezmiernie istotne jest, aby wyniki jednego badania zostały potwierdzone w wielu innych, niezależnych eksperymentach prowadzonych przez inne zespołu naukowców.

Doskonałym przykładem na to, że jeden wynik nie świadczy o prawdziwości hipotezy, były kontrowersyjne badania nad szkodliwością tiomersalu w szczepionkach (który miał rzekomo wywoływać autyzm), czy nad szkodliwością modyfikowanej genetycznie kukurydzy (która rzekomo powodowała nowotwory u szczurów).

Były to wyniki uzyskane w pojedynczych badaniach. Nikomu wyników tych dwóch kontrowersyjnych badań nie udało się powtórzyć, co oznacza, że tiomersal nie ma związku z autyzmem, a żywność GMO nie jest szkodliwa.

Na marginesie dodam, że wartością p można też statystycznie manipulować (to tak zwany p-hacking), co niektórzy nieuczciwi badacze robili. Niektórzy wyniki swoich badań wręcz zmyślali. Najsłynniejszym był chyba Diederik Stapel, ceniony psycholog społeczny z Holandii. Przez 15 lat systematycznie fabrykował dane i publikował je w najważniejszych czasopismach naukowych. Wpadł, gdy chwalił się współpracownikom udanym eksperymentem, ale nie był w stanie pokazać danych. Wycofano w sumie 55 jego prac naukowych.

2015 rok, czyli kryzys replikacji w naukach społecznych

Jak się okazało dekadę później, Ioannidis miał rację. Przynajmniej w przypadku badań prowadzonych w naukach społecznych: psychologii, socjologii czy ekonomii.

Badacze z University of Virginia od 2011 r. prowadzą „Reproducibility Project” nad replikacją badań z dziedziny psychologii. Powtórzyli sto badań, których wyniki opublikowano w różnych periodykach psychologicznych. Starali się przy tym, aby przeprowadzone przez nich eksperymenty były jak najbliższe oryginalnym. W 60 przypadkach nie uzyskali tego samego rezultatu jak w pierwotnym przypadku. Co ogłosili w pracy opublikowanej w 2015 roku w „Science”.

Zbiegiem okoliczności owe 60 procent sugerował właśnie Ioannidis w swojej pracy.

Jak tłumaczył wtedy „Wyboczej” Łukasz Budzisz, psycholog, w nauce podstawowym warunkiem zdobywania grantów i awansowania jest drukowanie licznych artykułów w dobrych czasopismach. Badacze skupiają się na pracach, które mają przedstawić coś nowego i odkrywczego. Redaktorzy czasopism są rozliczani z tego, jak często cytuje się artykuły z ich pisma.

Problem nie dotyczy tylko niezwykle konkurencyjnej amerykańskiej kultury akademickiej, dodawał.

Przykładowo polskie Narodowe Centrum Nauki w konkursie grantowym najwyższego stopnia (Maestro) informuje, że muszą to być badania „mające na celu realizację pionierskich badań naukowych (...) ważnych dla rozwoju nauki, wykraczających poza dotychczasowy stan wiedzy i których efektem mogą być odkrycia naukowe”. W przypadku konkursów niższego szczebla nie ma co prawda tak wygórowanych oczekiwań, ale jednym z kryteriów jest „nowatorski charakter projektu”.

Z tych powodów niewielu badaczy odtwarza cudze badania. Lepiej jest pokazać coś nowego. Ale pojedyncze badanie – jak już wiemy – ma niewielką wartość naukową.

Prerejestracja, czyli sposób na kryzys

Na kiepskie (lub nierzetelne) badania naukowe jest pewien sposób. To prerejestracja badania. Nie jest to nowy koncept, bo wysunął go już w 1878 roku amerykański naukowiec i filozof Charles Peirce w dziele „The probability of induction”. I aż dziw bierze, że przez sto lat z okładem nie stał się standardem.

Prerejestracja polega na tym, że naukowcy deklarują (publicznie), jaką hipotezę chcą sprawdzić i w jaki sposób. To zapobiega zarówno manipulowaniem danymi (by naciągnąć je do tezy), jak i naciąganiem tezy (do otrzymanych wyników).

Prerejestrację wprowadzano jako standard badań klinicznych mniej więcej od 2005 roku (na co zapewne wpływ miała praca Ioannidisa). W tymże roku renomowany „New England Journal of Medicine” ogłosił, że będzie publikował jedynie wyniki badań prerejestrowanych. Z czasem taki wymóg wprowadziło też ponad 300 różnych periodyków naukowych z różnych dziedzin.

Niektóre wymagają prerejestracji zewnętrznej, niektóre życzą sobie otrzymać deklarację o założeniach badań, zanim otrzymają pracę z ich wynikami do publikacji. Stosunkowo późno wprowadziły ją periodyki z dziedziny nauk społecznych. Stało się to, rzecz jasna, pod wpływem kryzysu replikacji w 2015 roku.

Prerejestracja badań nie jest jednak obowiązkowa. Na całym świecie prowadzonych jest nadal wiele badań bez prerejestracji. Z pracy opublikowanej w 2021 roku wynikało, że w jakiś sposób prejestrowanych jest jedynie ponad jedna czwarta (27 proc.) badań z dziedziny psychologii.

Natomiast najściślejszej formie tego nadzoru (w formie „registered report”) poddanych zostaje jedynie 1,2 procent badań eksperymentalnych z tej dziedziny, wynika z analizy opublikowanej w ubiegłym roku.

Dlaczego nie bardzo wiemy, co nas uszczęśliwia

Znakomitym przykładem ilustrującym marną jakość badań naukowych w dziedzinie psychologii są badania prowadzone nad szczęściem. W 2023 roku kanadyjscy naukowcy wzięli pod lupę ponad pięćset różnych naukowych badań dowodzących wpływu różnych rekomendowanych sposobów (medytacji, mindfulness, praktykowanie wdzięczności, relacji społecznych oraz wysiłku fizycznego) na lepsze zadowolenie z życia.

Okazało się, że z 532 badań zaledwie 57 spełniało standardy, donosili autorzy w metaanalizie opublikowanej w „Nature Human Behaviour”. Aż 475 analizowanych badań nad szczęściem nie miało wystarczająco dużej grupy badanych, albo nie było wstępnie zarejestrowanych. Z badań dotyczących skuteczności mindfulness i medytacji tych dwóch warunków nie spełniało żadne.

Badacze znaleźli wtedy kilkanaście badań dotyczących związku wysiłku fizycznego i szczęścia. Było wśród nich dowodzące na przykład tego, że czujemy się lepiej nawet po pojedynczym i krótkim wysiłku. Jednak było to badanie porównujące zadowolenie po wysiłku z zadowoleniem podczas siedzenia w ciszy lub oglądania nudnego filmu dokumentalnego. Nie jest to (z całym szacunkiem dla wysiłku autorów tego eksperymentu) szczególnie dobrze zaplanowane badanie naukowe.

Autorzy metaanalizy konkludowali wówczas, że nie ma zbyt wielu solidnych naukowych dowodów na to, że wysiłek fizyczny, mindfulness i medytacja czynią szczęśliwszym. Nieco lepiej wypadły prace dotyczące kontaktów społecznych i wdzięczności – tu nieco lepszej jakości, za to nieliczne.

34, 50 czy 74 procent? Tak

Wróćmy teraz do cytowanych przez PAP badań. Owocem pracy „badań nad badaniami” są aż trzy różne prace naukowe, które opublikowano w „Nature”.

„Investigating the reproducibility of the social and behavioural sciences”, to praca, która analizuje reproducibility – odtwarzalność wyników na podstawie danych (liczb) z oryginalnej pracy.

W teorii powinno być tak, że analizowanie tych samych danych w ten sam sposób prowadzi do identycznych wyników. Dokładnie te same wyniki udało się uzyskać w przypadku 54 proc. analizowanych badań, natomiast zbliżone do oryginalnych w 74 procent prac. Co istotne, gdy badacze otrzymali od autorów analizowanych prac dokładne zestawy danych i kod źródłowy (do analizy statystycznej), te liczby były dużo wyższe – odpowiednio 77 oraz 91 procent.

Druga z prac, „Investigating the replicability of the social and behavioural sciences”, analizuje odtwarzalność na nowym zestawie danych. Czyli to, czy przeprowadzone przez innych badanie da te same wyniki.

Badaczom z „Reproducibility Project” w 2015 roku udało się to w 40 procentach przypadków. Jak było tym razem, po ponad dekadzie?

Udało się to w blisko połowie, 49 procent, analizowanych prac (to jest owa połowa w tytule komunikatu prasowego Instytutu Karolinska), ale przy powtórkach badań siła obserwowanych efektów topniała w stosunku do pierwotnych publikacji – i to średnio o ponad połowę. Ten problem okazał się uniwersalny niezależnie od danej dyscypliny nauk społecznych i behawioralnych.

“Investigating the analytical robustness of the social and behavioural sciences”, to trzecia z prac. Analizowała analytical robustness (odporność analityczną lub metodyczną) czyli solidność metody badawczej. Testowano to dając dane z pracy naukowej pięciu różnym badaczom, którzy analizowali je już za pomocą dowolnie wybranej przez siebie metody.

W tym przypadku co trzecia analiza danych przyniosła te same wyniki liczbowe, co w oryginalnej pracy (34 procent, i jest to liczba podawana przez PAP), jednak gdy przyjęto wyższy współczynnik d Cohena (to miara wielkości efektu, określająca różnicę między średnimi dwiema grupami w jednostkach odchylenia standardowego), ta liczba rosła do 57 proc. Mówimy, co istotne o wynikach liczbowych.

Mimo tych różnic w liczbach, aż 74 procent nowych analiz dochodziło do tych samych wniosków, co autorzy oryginalnej pracy (i to jest liczba podawana na wstępie przeze mnie). W około jednej czwartej przypadków alternatywne sposoby analizy prowadziły natomiast do odmiennych wniosków niż zawarte w pierwotnej pracy!

Co laikowi po liczbach, czyli z naukowego na nasze

Co laik ma z tych prac zrozumieć? To, że naukowcy prowadzą badania, a ich wynikiem są zwykle liczby. Ponowne analizowanie liczb tą samą metodą w większości przypadków prowadzi do tych samych lub zbliżonych wyników.

Zbieżność ta jest dużo większa, gdy badacze dzielą się oryginalnymi liczbami i kodem do ich analizy statystycznej. Najlepiej, gdyby stało się to powszechną praktyką, sugerują autorzy trzech prac w „Nature”.

Co innego powtarzalność całego badania na przykład z udziałem nowych uczestników. Wtedy te same wyniki udaje się uzyskać jedynie w połowie przypadków. Jest nieco lepiej niż dekadę temu, ale bez rewelacji, zamiast 40 jest 49 procent.

Jeszcze czym innym jest ponowna analiza liczb za pomocą innych (niż przyjęte w oryginalnej pracy) metod. Wtedy identyczne wyniki udaje się uzyskać w jednej trzeciej do połowy przypadków. Mimo to, różne osoby stosujące odmienne metody analizy dochodzą w większości do tych samych wniosków.

Co warto z tego zapamiętać?

Że analizy dotyczyły nauk społecznych, które nadal słabo stoją z jakością badań. Nieco się w tej kwestii poprawiło, jednak nadal udaje się odtworzyć wyniki jedynie połowy z nich.

Nie należy z tego wyciągać wniosków, że wszystkie badania naukowe są do niczego.

„Większość ponownych analiz zasadniczo potwierdzała główne tezy badań pierwotnych, ale siła efektu, szacunki statystyczne i poziomy niepewności często znacznie się różniły. Tylko w około jednej trzeciej przypadków wszyscy analitycy doszli do takich samych wniosków jak autorzy pierwotnych badań” – czytamy w komunikacie prasowym SWPS (podkreślenie moje), której badacze również brali udział w projekcie.

USA, Węgry – dwa bratanki?

Niebywale niefortunnym zbiegiem okoliczności jest to, że badania prowadzili głównie Węgrzy finansowani przez agencję badawczą Departamentu Obrony USA.

Trzy wspomniane prace powstały w wyniku międzynarodowej współpracy pod kierownictwem dr. Balázsa Aczéla (Uniwersytet Loránda Eötvösa w Budapeszcie) i dr. Barnabása Szásziego (Uniwersytet Korwina w Budapeszcie). w ramach projektu finansowanego przez amerykańską agencję rządową Agencja Zaawansowanych Projektów Badawczych Departamentu Obrony (Defense Advanced Research Projects Agency, DARPA). W badanie byli zaangażowani także polscy naukowcy z Uniwersytetu SWPS (USWPS), Uniwersytetu Adama Mickiewicza w Poznaniu, Instytutu Nauk Politycznych PAN w Warszawie, Uniwersytetu Wrocławskiego, Uniwersytetu Jagiellońskiego i Warszawskiego Uniwersytetu Medycznego.

Nikomu chyba nie zależy na podważaniu wiarygodności nauki bardziej niż reżimowi Putina i administracji Trumpa. Jednak odbieranie wniosków z tych badań jako podważania wiarygodności nauki w ogóle (co miało miejsce w komentarzach pod postem „Nauki w Polsce” na Facebooku) jest z gruntu błędne.

To nie jest badanie o tym, że nauka jest do niczego. Jest o tym, że czasem błądzi i powinna stale kontrolować się sama.

W program SCORE („Systematizing Confidence in Open Research and Evidence”) zaangażowanych było ponad 900 naukowców. I choć finansowała go rządowa DARPA, prowadzony był przez Center for Open Science, organizację non-profit z siedzibą w Wirginii. Jej misją jest „zwiększanie otwartości, integralności i powtarzalności badań naukowych”.

W komentarzu na łamach „Nature” prof. Robb Willer ze Stanford University, podkreśla, że wyniki tych analiz nie oznaczają, że dyscypliny społeczne opierają się wyłącznie na szumie informacyjnym. Dowodzą natomiast, że system wymaga naprawy, a apelowanie do dobrych chęci naukowców nie wystarczy – konieczne jest zaangażowanie instytucji w egzekwowanie wyższych standardów. Chodzi m.in. o obowiązkowe udostępnianie danych czy jasne określenie metod analizy jeszcze przed rozpoczęciem eksperymentu.

Publikacje w „Nature” są raczej, jak pisał Marcin Rotkiewicz w „Pulsarze” dzwonkiem alarmowym dla nauk społecznych.

„Wyniki tego projektu wskazują, że rzetelna weryfikacja twierdzeń naukowych poprzez niezależne, wielokrotne analizy stanowi fundament wiarygodnej nauki” mówi cytowany w komunikacie prof. Jakub Traczyk z Instytutu Psychologii Uniwersytetu SWPS.

Co z tym fantem ma począć przeciętny człowiek? Podchodzić do badań w naukach społecznych z dystansem (zwłaszcza do badań nad szczęściem). Chyba, że są prerejestrowane. Albo eksperymenty z tym samym wynikiem widzieliśmy już gdzieś wcześniej.

Na koniec opowiem o słynnym eksperymencie Milgrama.

Czy ludzie stają się okrutni pod wpływem autorytetu?

W 1961 r. na Uniwersytecie Yale w USA Stanley Milgram przeprowadził jeden z najbardziej znanych eksperymentów w historii nauki. Ochotnicy zapraszani byli pojedynczo do pomieszczenia, gdzie mówiono im, że będą pełnić rolę nauczyciela. Następnie zapraszano ich przed specjalną aparaturę, umożliwiającą aplikować wstrząsy elektryczne. W sąsiednim pomieszczeniu znajdowała się osoba pełniąca rolę ucznia. Do jej ciała przyczepione były przewody elektryczne.

Nauczyciel zadawał pytania, uczeń odpowiadał, a przy błędnej odpowiedzi nadzorujący eksperyment polecał aplikować uczniowi elektryczne wstrząsy, zaś przy kolejnym błędzie zwiększyć napięcie.

Uczniowie jedynie odgrywali rolę ofiar, a przewody nie były podłączone do prądu. Ochotnicy jednak o tym nie wiedzieli. Badanie miało sprawdzić, w jakim stopniu zwykli ludzie mogą działać pod wpływem autorytetu i jak bardzo mogą naruszyć w takiej sytuacji normy etyczne i moralne.

Dwie trzecie ochotników pełniących rolę nauczycieli aplikowało uczniom najsilniejsze wstrząsy elektryczne – jedynie dlatego, że dostali takie polecenie.

Okrutni czy zmuszani – to różnica

Jak opisała to australijska psycholożka Gina Perry, autorka książki „Behind the Shock Machine" (wydanej w 2012 roku), jest to w dużej mierze nieprawdą. Po pierwsze, jedynie połowa uczestników badania Milgrama uwierzyła, że naprawdę będzie kogoś razić prądem. Wśród tych, którzy w to wierzyli, aż 66 procent przerwało eksperyment.

Ponadto nadzorujący eksperyment naukowiec (John Williams) często wdawał się z badanymi w spory i wielokrotnie wywierał na nich presję, by zachowali się zgodnie z oczekiwaniami Milgrama. Uczestnicy zadawali więc ból nie z powodu siły autorytetu białego fartucha naukowca, lecz pod wpływem przymusu.

Potwierdza to nowa praca opublikowana w „Political Psychology” oparta na archiwalnych nagraniach przechowywanych w Bibliotece Uniwersytetu Yale. Podczas sesji, w których ochotnicy wymierzali do końca wszystkie wstrząsy, niemal połowa została zadana z pogwałceniem protokołu badania, a uczestnicy, którzy dotrwali do końca eksperymentu, działali w atmosferze coraz mniej przypominającej badanie naukowe. Autorzy sugerują, że badanych do zadawania przemocy skłaniało raczej przemocowe otoczenie.

Z tej samej pracy wynika również, że osoby, które w pewnym momencie eksperymentu odmawiały dalszego rażenia prądem, dużo skrupulatniej przestrzegały procedury niż uczestnicy, którzy doszli do jego końca. A to może oznaczać wniosek dokładnie przeciwny niż przedstawiany przez Milgrama – ci, którzy naprawdę próbowali podporządkować się autorytetowi, częściej odmawiali udziału w moralnie nieakceptowalnym procederze.

Swoje eksperymenty Milgram przeprowadził kilkakrotnie na ponad 700 osobach, z różnymi wynikami. Jeśli czytamy gdzieś, że ponad 65 procent osób doszło do końca skali przy zadawania bólu innym, są to wyniki z jednego tylko eksperymentu – mówiła Perry w rozmowie z rozgłośnią NPR – w którym zrobiło to 26 z 40 osób. Pomijając już inne kontrowersje, według dzisiejszych standardów byłaby to mała grupa, a co za tym idzie, badanie niezbyt rzetelne.

Mała próba, a badanie nie do powtórzenia

Czy tego eksperymentu nie powtarzano już więcej? Oczywiście, że powtarzano. Zrobił to na przykład Jerry Burger w 2008 roku na Uniwersytecie Santa Clara w Kalifornii. Otrzymał wyniki zbliżone do oryginalnego badania Milgrama.

Czy ochotnicy zgłaszający się do jego badania naprawdę wierzyli, że będą kogoś razić prądem? Skoro w latach sześćdziesiątych uwierzyła jedynie połowa ochotników, trudno powiedzieć, ile uwierzyłoby dzisiaj. Eksperyment Milgrama należy do najbardziej znanych w historii psychologii. Szerokopasmowy internet i Wikipedia istnieją od początków tego wieku.

Dziś jest niewielka szansa na to, że eksperyment Milgrama dałoby się powtórzyć na nieświadomych mistyfikacji uczestnikach. Poza tym nie można by tego zrobić zresztą z powodów etycznych: ze względu na wprowadzanie w błąd jego uczestników i narażenie na ich możliwe niekorzystne skutki psychologiczne.

Można za to powtarzać wiele innych badań z dziedziny psychologii i nauk społecznych. Trzeba – właśnie tak działa nauka.