Ewaluacja nauki to porażka. Jej wyniki nic nie mówią i nikomu nie są potrzebne [WYWIAD]

Przez pięć lat środowisko naukowe żyło ewaluacją, czyli oceną jakości badań naukowych. Powstawała w trakcie niekończących się sporów i dyskusji. Tysiące ludzi spędziło tysiące godzin, przygotowując jej zasady i składając sprawozdania. Jej zasady zmieniano wielokrotnie w czasie okresu oceniania naukowców — sprawiało to, że naukowcy nie wiedzieli, jak będą oceniani.

Na przełomie lipca i sierpnia Ministerstwo Edukacji i Nauki oficjalnie opublikowało wyniki.

OKO.press pisało o ewaluacji i jej perypetiach wielokrotnie, m.in. tutaj:

„Ewaluacja" oznacza po prostu ocenę ich naukowego dorobku — przeprowadzoną według skomplikowanych, sformalizowanych zasad.

Objęła lata 2017-2021 (z powodu epidemii COVID została przedłużona o rok). Dyscypliny nauki uprawiane na uczelniach (a więc np. nauki socjologiczne na uczelni X) mają przyznawane w efekcie ewaluacji kategorie – A+, A, B+, B albo C. Oceniano trzy kryteria — publikacje naukowe, granty oraz tzw. wpływ społeczny badań.

„Od kategorii zależą uprawnienia do prowadzenia studiów, szkół doktorskich, nadawania stopni i tytułów. A także kwota subwencji, czyli środków finansowych, które jednostki naukowe otrzymują z budżetu państwa. Rozporządzenie ewaluacyjne jest więc kluczowe w całym systemie zreformowanego szkolnictwa wyższego i nauki” – można było jeszcze niedawno przeczytać na rządowej na stronie „Konstytucja dla nauki” (jest to propagandowa nazwa zmian w organizacji nauki polskiej wprowadzona przez Jarosława Gowina, który był w rządach PiS ministrem edukacji i nauki w latach 2015-2020).

Dziś jednak strona „konstytucjadlanauki.gov.pl” już nie istnieje — podobnie jak „reforma” Gowina, którą minister Czarnek pracowicie i systematycznie demontował niemal od początku objęcia urzędu w październiku 2020 roku.

Adam Leszczyński: Mamy wyniki ewaluacji. O czym one mówią? Czy można się z nich dowiedzieć czegoś o stanie nauki polskiej?

Prof. Emanuel Kulczycki: Niczego, a w najlepszym razie bardzo niewiele. Opublikowano listę podmiotów (np. uczelni czy instytutów badawczych) i kategorii, które uzyskały w dyscyplinach. Ta lista nic nikomu nie powie, tym bardziej że ewaluacja została zdeformowana przez obecnego ministra, a wcześniej jeszcze trochę przez poprzedniego, którzy wielokrotnie zmieniali reguły oceniania w trakcie gry.

Gdyby jeszcze otwarto wszystkie dane, które jednostki przysyłały do Komisji Ewaluacji Nauki, a także opinie i decyzje recenzentów, wówczas moglibyśmy — jako środowisko naukowe — zobaczyć, kto co zgłosił i jak to zostało ocenione. W tej chwili publicznie dostępna jest tylko niewielka część tych danych. Żaden minister nie zdecydował się na otwarcie tej czarnej skrzynki, gdyż okazałoby się, że król jest nagi.

Teraz ta ewaluacja nie pokazuje niczego środowisku naukowemu ani ministerstwu.

To komu jest potrzebna? Naukowcy wykonali gigantyczną pracę, przygotowując i przetwarzając te dane.

Nikomu nie jest potrzebna w takiej formie. Obecne ministerstwo nie potrzebuje ewaluacji do uzasadnienia swoich posunięć politycznych. Wszystkie ministerstwa — i to nie jest specyfika polska — wykorzystują ewaluację do uzasadnienia np. decyzji dotyczących finansowania nauki. Minister Czarnek nie potrzebuje do tego ewaluacji. Moim zdaniem doszło do niej wyłącznie dlatego, że wyrzucenie jej z ustawy wymaga ogromnego wysiłku, nie tylko politycznego, ale również konceptualnego. Nawet najradykalniejsi przeciwnicy jakiejkolwiek ewaluacji wiedzą, że w napisanej przez Jarosława Gowina ustawie o nauce została ona połączona z niemalże wszystkimi elementami systemu: uprawnieniami do nadawania stopni, prowadzenia studiów, finansowaniem. Trudno więc ją z niego wyjąć bez zastąpienia czymś nowym, a na to nikt nie ma pomysłu.

Spróbujmy prześledzić, krok po kroku, co się stało. Według oryginalnego pomysłu ewaluacja miała być w miarę obiektywną i przejrzystą informacją o tym, kto jest lepszy czy gorszy w nauce i komu warto w związku z tym dać więcej pieniędzy, albo komu warto dać uprawnienia do nadawania stopni naukowych. Jakie były pierwotne cele?

Punktem wyjścia była jasna polityka naukowa skupiająca się na umiędzynarodowieniu — rozumianym bardzo wąsko, przede wszystkim opublikowanie w międzynarodowych czasopismach oraz zdobywanie zewnętrznych funduszy na badania (grantów).

Obserwowałem ten proces z dwóch stron, czyli uczestnika, który na początku miał pewien wpływ na kształt systemu, ale także osoby, która — jako naukowiec — w tym systemie siedzi.

Minister Gowin przedstawił propozycję rozporządzenia ewaluacyjnego, w tym wykazów wydawnictw i czasopism, za które naukowcy mieli dostawać punkty. Wówczas włączyło się środowisko naukowców, proponując ulepszenia.

Chce pan powiedzieć, że to naukowcy popsuli proces?

Muszę powiedzieć, że większość zmian, które się krytykuje, wynika z tego, że minister Gowin zaakceptował pomysły środowiska naukowego. To one dały ministrowi możliwość zmiany punktacji czasopism, z czego potem skorzystał minister Czarnek, zmieniając według swojego widzimisię oceny na skalę masową i wywracając cały sens oceny.

Pierwotny projekt rozporządzenia, przygotowany przez zespół, któremu przewodniczyłem, nie dawał ministrowi żadnej roli. Nie dawał też jej ekspertom.

Dlaczego? Nie ufaliście naukowcom?

Uważaliśmy, że na początku nie jest to najlepsze rozwiązanie. Mieliśmy doświadczenia z 2015 r., gdy w proces oceny czasopism włączono wszystkie Komitety Polskiej Akademii Nauk. Okazało się, że 85 proc. proc. Komitetów nie wykonało zadania zgodnie z otrzymanymi wytycznymi, gdyż albo nie zgadzała się z tak prowadzoną ewaluacją, albo grała o więcej, niż można było ugrać (chodziło wówczas o dowartościowanie najważniejszych polskich czasopism). Była to jednak porażka wynikająca z konstrukcji samego procesu, a nie angażowania ekspertów. Jednak ten nasz projekt został w całości odrzucony, głównie ze względu na naciski środowiska naukowego.

Czyli według pierwotnego pomysłu ocena czasopism miała mieć charakter czysto ilościowy — np. na podstawie przeciętnej liczby cytowań?

Tak, miała być robiona w sposób automatyczny. To było radykalne rozwiązanie. Eksperci ani minister nie mogli zmienić punktacji. Taka była pierwotna formuła ewaluacji czasopism i to zostało całkowicie odrzucone, gdyż pojawiały się pojedyncze czasopisma z wysoką lub niską punktacją.

Słusznie czy niesłusznie?

Według mnie docelowo ocena powinna być całkowicie na podstawie opinii ekspertów, którzy ewentualnie posługują się metrykami — czyli np. danymi o cytowalności. Ale to ma sens tylko w sytuacji, w której ufamy ekspertom (my jako środowisko i ministerstwo jako instytucja wykorzystująca wyniki ewaluacji). Powiem tak: nasza ocena sytuacji w nauce polskiej była taka, że uznaliśmy, iż ocena radykalnie odcinająca ekspertów i ministra była lepsza.

Potem minister zaprosił kilkuset ekspertów, aby pomogli tworzyć wykazy czasopism. Następnie zgodnie z wymyślonym rozporządzeniem wszystkie ich oceny zostały uśrednione.

Czyli jeśli czasopismo w dyscyplinie A dostało 100 punktów, a w dyscyplinie B 200, to docelowo miało 150?

W uproszczeniu. W efekcie nikt nie był zadowolony. Bardzo prestiżowe czasopisma często miały relatywnie niskie oceny. Takie sytuacje przy ilościowych ocenach nie miałyby miejsca, gdyż interdyscyplinarność czasopism jest powszechna i są sposoby jej uwzględniania w ocenie.

Sposób tworzenia wykazu czasopism unieszczęśliwił w zasadzie wszystkich. Co więcej, sprawił, że nie było możliwości aktualizacji wykazu. To był gigantyczny problem. Przez 5 lat mieliśmy w zasadzie czasopisma bez zmiany punktacji, ponieważ każda zmiana wymagała zgodnie z rozporządzeniem powołania kolejnych prawie 500 ekspertów. Dlatego ten wykaz nie był aktualizowany tak, jak być powinien.

Naukę podzielono także w bardzo sztywny sposób na dyscypliny. Czy to był sensowny pomysł?

To też był powód wielu frustracji i niesnasek w środowisku. Uważam, że lepiej jest oceniać dyscypliny — np. nauki socjologiczne na uczelni X — niż wydziały. Tylko okazało się, że to, co otrzymaliśmy z ministerstwa jako wykaz dyscyplin, jest nieakceptowalne dla dużej części środowiska. W dodatku konsekwencje oceny dyscyplin ministerstwo połączyło w zasadzie jeden do jednego z uprawnieniami do nadawania stopni i częściowo prowadzenia studiów.

Dziś jednostka — np. wydział X uniwersytetu Y — otrzymuje informacje, które zgłoszenia ewaluacyjne, czyli które publikacje i granty zostały zaakceptowane. To zwykły proces administracyjny. Dostaje ocenę tylko w kryterium wpływu społecznego, czyli trzeciego kryterium ewaluacji (dwa pierwsze to publikacje i granty). Jednostka nie otrzymuje żadnej informacji o tym, jak wypadła na tle innych, ponieważ nie ma opublikowanego zestawienia punktacji. Nie ma informacji, co jednostka robi źle, a co mogłaby robić lepiej.

Co będzie dalej?

Nikt nie wie. Uczelnie nie wiedzą, jak mają kształtować swoją politykę ewaluacyjną w ciągu kolejnych 5 lat. System ewaluacji jest w tym momencie nieznany. Co więcej, jednostki z doświadczenia ostatnich 20 lat wiedzą, że ten system i tak się zmieni kilkukrotnie w trakcie okresu oceny, więc racjonalnym podejściem dobrego szefa byłoby nie zwracać zbyt wielkiej uwagi na wymogi i kryteria ewaluacyjne.

Minister Czarnek nigdy nie spotkał się z Komisją Ewaluacji Nauki. Spotkaliśmy jego doradcę raz, kilka razy wiceministra Włodzimierza Bernackiego. Nic nie wiemy. W grudniu skończy się kadencja Komisji Ewaluacji Nauki, więc minister będzie zapewne lada moment ogłaszał nabór i powoła nowych członków.

Uważam, że ewaluacja się ostanie, ponieważ nikt nie pracuje nad wyrzuceniem całej ustawy o nauce i szkolnictwie wyższym do kosza.

Rozumiem ewaluacja będzie de facto robiona pod dyktando ministra?

Tak jest dziś. Zapewne tak będzie.

Racjonalny z punktu widzenia naukowców więc jest lobbing w ministerstwie: uruchamianie wszystkich kontaktów politycznych, jakie się ma, żeby kryteria oceny tak zmienić, aby lepiej wypaść.

To prawda, zmiany na liście czasopism były efektem lobbowania poszczególnych środowisk, które dołożyły swoją cegiełkę. Dla mnie takim przykładem jest wylobbowanie przez przede wszystkim warszawskich informatyków listy konferencji, które są wysoko punktowane. Obecnie tylko konferencje informatyczne są uznawane i punktowane, jeśli są indeksowane na wykazie konferencji. Wcześniej konferencje z wszystkich dyscyplin miały taką możliwość, gdy były indeksowane w bazie Web of Science. Minister idąc na rękę informatykom, wyrzucił – moim zdaniem całkowicie nieświadomie – wszystkie inne konferencje do kosza.

Na każdym etapie tej ewaluacji znalazło się jakieś środowisko, które miało siłę przebicia, lobbowało i minister się zgodził.

Świetnie ich rozumiem. Rozmawiałem z szefami instytutów czy wydziałów — mówili, że chcą, aby ich jednostka przetrwała, a więc np. uruchamiali jakiegoś związanego z PiS profesora czy dzwonili do biskupa, jeśli jakiegoś znali, i uruchamiali lobbing. Nasłuchałem się takich historii, oczywiście nieoficjalnie.

Widziałem dużo lobbingu w związku z dyscyplinami kościelnymi. Aż trudno w to uwierzyć, ale nie było to w agendzie politycznej Jarosława Gowina, tylko przegrał z naciskami z PiS. Teraz w zasadzie mamy mieć cztery dyscypliny kościelne: nauki teologiczne, nauki o rodzinie, prawo kanoniczne, nauki biblijne.

Biskupi okazali się bardzo skuteczni.

Spróbujmy to podsumować. Według pana już Gowin zaczął psuć ewaluację, potem Czarnek ją zniszczył. Obserwował pan ten proces od początku, współtworzył pan w części filmu ten kształt ewaluacji, który potem zmieniano. Teraz obserwuje pan jego porażkę. Czego to pana nauczyło?

W Polsce ewaluacja musi być tworzona i realizowana przez niezależną od polityków instytucję. Mam na myśli coś takiego jak Narodowe Centrum Nauki. Ono oczywiście jest poddawane naciskom politycznym, ale ma wielką autonomię w tworzeniu programów i ocenianiu.

Nie wierzę też już, że można przeprowadzić rzetelną ewaluację bez zmiany reguł w trakcie gry przez polskie ministerstwo nauki. To dla mnie najcenniejsza lekcja po uczestniczeniu w tym procesie od blisko dekady.

Czy ta ocena ma być czysto liczbowa, oparta na wskaźnikach, czy ekspercka?

Zakładając, że mamy niezależną instytucję, rola ekspertów powinna być całkowicie wiodąca. Eksperci mogą otrzymywać różnego rodzaju metryki, dane liczbowe, które mogą im służyć do porównywania jednostek. Natomiast na końcu musi być konsensus ekspertów. To da się zrobić. Eksperci muszą jednak brać za to pełną odpowiedzialność i nikt nie może zmieniać ich decyzji.

Teraz było tak, że eksperci tworzący wykaz czasopism naukowych w swoich dyscyplinach wzięli odpowiedzialność za listy rankingowe, ale to zostało zaprzepaszczone — pozmieniano je potem za ich plecami.