Co bardziej zaszkodziło edukacji: epidemia czy "reformy" PiS? Pierwsze takie badania

Dziesiątki analiz (także w OKO.press) i głosów publicystycznych ostrzegało, że szkoła poddana "reformom" kolejnych ministrów PiS (na zdjęciu Anna Zalewska i Dariusz Piontkowski, do kompletu brakuje Przemysława Czarnka), a na dodatek zamknięta z powodu pandemii na dłużej niż w innych krajach, musi obniżyć loty, czyli gorzej uczyć.

Raport Evidence Institute stanowi oszacowanie obu tych negatywnych efektów. Dokładniej - naukowcy sprawdzają, w jakim stopniu pogorszyły się umiejętności uczennic i uczniów w porównaniu z okresem sprzed "deformy" i sprzed pandemii. Badanie na zamówienie stołecznego magistratu sprawdza te efekty w Warszawie, ale w całej Polsce jest zapewne raczej gorzej niż lepiej (o czym dalej).

Punktem odniesienia są wyniki słynnych badań PISA z lat 2003-2018. Evidence Institute sprawdza, co potrafiła warszawska młodzież zanim szkołami wstrząsnęły zmiany wprowadzane przez minister Zalewską i zanim uderzył w nie COVID-19. I porównuje z tym, co młodzież umie dzisiaj.

Polski cud edukacyjny po wprowadzeniu gimnazjów

Polska szkoła - po wprowadzeniu gimnazjów w 1999 roku - stała się rewelacją najważniejszych światowych badań edukacyjnych PISA (Programme for International Student Assessment), powtarzanych od 2000 roku co trzy lata, ostatnio już w 79 krajach OECD od Korei po Kirgistan, od Kanady po Katar.

Zanim wystąpił efekt gimnazjum, Polska była w badaniach PISA 2000 grubo poniżej średniej OECD, gdzieś w okolicach Rosji, Grecji i Izraela. Ale od 2003 roku w tych edukacyjnych Oscarach zdobywaliśmy kolejne laury wspinając się aż do europejskiej czołówki, tuż za gigantami z Dalekiego Wschodu.

Polska była przy tym podawana jako przykład sukcesu tzw. edukacji włączającej (inclusive education ), bo dzięki gimnazjom wszyscy 15-latkowie zostali objęci wspólną, dziewięcioletnią edukacją ogólną. Postęp od 2000 do 2018 roku zawdzięczaliśmy przede wszystkim coraz lepszym wynikom uczniów słabszych. W dodatku nowo utworzone szkoły zgromadziły młodsze i bardziej energiczne zespoły pedagogiczne i ambitne dyrektorki.

Wyjaśnijmy od razu, że PISA nie jest testem wiedzowym, nie sprawdza, czego Jaś się nie nauczył (np. z chemii), a co Małgosia umie (np. z geografii). Byłoby to zresztą niemożliwe w międzynarodowych badaniach o takim rozmachu; nawet zwycięzca polskiej olimpiady historycznej oblałby przecież najprostszy test historyczny w Indonezji czy w Kanadzie.

Żeby dobrze wypaść, nie trzeba znać wzoru na pole trapezu, wiedzieć, kto był autorem "Don Kichota", kto pierwszy opłynął świat i jak rozmnaża się żaba. Trzeba tylko - i aż - umieć myśleć, przetwarzać informacje, rozwiązywać problemy, które pojawiają się w zadaniach.

PISA sprawdza trzy umiejętności:

1. czytanie i interpretacja tekstów literackich, naukowych, prasowych, komunikatów, tabel. Trzeba zrozumieć sens podanego tekstu, czasem dość długiego, na tyle, by trafnie odpowiedzieć, o co w nim chodzi;

2. umiejętności matematyczne "w zastosowaniu do problemów bliskich życiu";

3. rozumowanie w naukach przyrodniczych, czyli wyjaśnianie zjawisk i logiczne wyciąganie wniosków z podanych informacji o migracjach ptaków, skutkach biegania podczas upału, meteorytach, czy o zrównoważonej hodowli ryb (przy okazji linki do zadań PISA).

Badana jest młodzież 15-letnia. W PISA 2018 polskie nastolatki były w europejskiej trójce najlepszych. Zajmowały:

• w czytaniu - 10. miejsce na świecie, ale statystycznie lepsze wyniki uzyskało tylko 7 krajów, w tym tylko dwa europejskie (Estonia i Finlandia);
• w matematyce - 10. miejsce, statystycznie lepsze było 8 krajów, z Europy tylko Estonia;
• w naukach przyrodniczych - 11. miejsce, z Europy wyprzedziły nas Estonia i Finlandia.

Na czele wszystkich trzech rankingów były kraje Dalekiego Wschodu (Singapur, Korea, Japonia,), a także kilka potraktowanych odrębnie chińskich regionów (jak Makao, czy Szanghaj).

W czasach gimnazjów Warszawa była na czele światowych list

Badacze z Evidence Institute porównali wyniki w PISA warszawskiej młodzieży z innymi metropoliami. Aby uzbierać odpowiednią do analiz liczbę osób (minimum 1000) uwzględnili wyniki PISA z lat 2003-2018 w miastach z milionem lub więcej mieszkańców.

Warszawa (jedyne miasto milionowe w Polsce) na tle światowych metropolii wypadła wręcz rewelacyjnie. Pod względem czytania ze zrozumieniem warszawskie 15-latki były najlepsze ze wszystkich krajów:

Jak widać, pokonaliśmy nawet kraje azjatyckie, w których uczniowie i uczennice poddawani są ogromnej presji na osiągnięcia, a także wszystkie kraje Zachodu. 50 pkt przewagi nad Włochami, Niemcami czy USA to w PISA edukacyjna przepaść.

W umiejętnościach matematycznych i rozumowaniu w naukach przyrodniczych - podajemy je łącznie - wypadliśmy tylko trochę gorzej, na piątym miejscu, daleko przed Europą:

Dramatyczne spadki umiejętności, starsi teraz gorsi niż młodsi wtedy

Efekty "rewolucji antygimnazjalnej" najlepiej byłoby zmierzyć w badaniu PISA planowanym na 2021 rok porównując wyniki uczniów dzisiejszych szkół średnich z PISA 2018, kiedy polskie 15-latki były jeszcze w III klasie gimnazjalnej. Ale PISA 2021 została odwołana ze względu na pandemię.

Evidence Institute postanowił zastąpić PISA 2021, której nie było. Zastosował opracowany przez siebie kwestionariusz TICKS.

"Nie mogliście po prostu użyć pytań PISA?" - pytamy dr. Tomasza Gajderowicza z Evidence Institute, Uniwersytetu Warszawskiego, współautora raportu (obok prof. Macieja Jakubowskiego i dr Sylwii Wrony).

"OECD nie udostępnia swoich testów, więc stworzenie badania standaryzowanego było wyzwaniem. W naszej fundacji Evidence Institute opracowaliśmy badanie TICKS (Test for International Comparisons of Knowledge and Skills), które ściśle nawiązuje do badań PISA zarówno pod względem zakresu przedmiotowego, jak i metodologii szacowania wyników. TICKS mierzy te same trzy umiejętności: matematyczne, czytania ze zrozumieniem oraz rozumowania w naukach przyrodniczych".

W badaniu prowadzonym jesienią 2021 uczestniczyło 4581 uczniów i uczennic z 208 oddziałów (popularnie - klas) 83 szkół średnich. Losowano oddziały z trzech roczników:

• II klas szkół średnich, po ośmioletniej szkole podstawowej (a więc młodych ludzi w wieku 15-16 lat);
• III klas szkół średnich, po ośmioletniej szkole podstawowej (16-17 lat);
• III klas szkół średnich, ostatniego rocznika po gimnazjum (17-18 lat).

Oto jak wygląda (aby uwidocznić różnice "podnieśliśmy" oś X do poziomu = 200) porównanie trzech typów umiejętności młodych ludzi w tych trzech grupach uczących się w roku 2021 z wynikami 15-latków z III klas gimnazjalnych badanych w latach 2003-2018:

Jak widać, wyniki młodych ludzi po podstawówce (słupek niebieski i zielony) są gorsze niż gimnazjalistów z ubiegłych lat (czerwony) młodszych "o szkolny rocznik" (ale faktycznie o pół roku, bo testy PISA robiono wiosną, a testy TICKS jesienią).

Młodzież z II klasy szkół średnich (niebieski) choć średnio pół roku starsza uzyskała wskaźniki o 40 pkt (matematyka), a nawet 60 pkt (czytanie i przyroda) gorsze, co w PISA/TICKS oznacza ogromną różnicę.

Młodzież po podstawówce z klasy trzeciej (zielony) była także wyraźnie gorsza (o 15-30 pkt) od gimnazjalistów i gimnazjalistek sprzed reformy, a przecież powinna być lepsza, bo jest od nich starsza o półtora roku i o tyle dłużej się uczy.

Dopiero ostatni rocznik gimnazjalny (kolor żółty), który trafił do "podwójnej" III klasy szkoły średniej (17-18 latkowie) uzyskał wyniki minimalnie lepsze (czytanie i matematyka) lub minimalnie gorszy (przyroda) od gimnazjalistów/gimnazjalistek ze starych - chciałoby się powiedzieć - dobrych czasów.

Tak jakby nauka w ośmioletniej podstawówce i szkole średniej przez ponad rok (II klasa) lub ponad dwa lata (III klasa) dała im znacznie mniej niż sześć lat w podstawówce + dwa lata w gimnazjum. Dopiero w III klasie szkoły średniej młodzi zaczynają doganiać gimnazjalistów sprzed lat - i to tylko jeśli sami jeszcze kończyli gimnazjum. Ponad dwa lata szkoły średniej wnosi tu niewiele lub nic.

Jaka to strata edukacyjna? Badacze uwzględniają wiek/liczbę lat nauki

Aby policzyć stratę edukacyjną, którą ponieśli w wyniku "deformy" i pandemii młodzi, trzeba uwzględnić nie tylko powyższe różnice, ale także fakt, że kolejne lata w szkole powinny przynosić wzrost umiejętności.

Jak tłumaczy dr Tomasz Gajderowicz, badacze przyjęli założenie, że uczniowie i uczennice powinni co roku zyskiwać w testach PISA (a więc i TICKS ) po 10 pkt. Gajderowicz podkreśla, że jest to "założenie konserwatywne, bo według badań międzynarodowych, to może być nawet 20 pkt. Opieraliśmy się na wynikach polskich badań prowadzonych przy okazji programu PISA w klasach szkół średnich (ponadgimnazjalnych) w latach 2006, 2009 i 2012 roku".

Badacze przyjęli też, że przyrost oczekiwanych umiejętności dla klasy II szkoły średniej można uznać za zerowy, bo uczniowie i uczennice są tylko o pół roku starsi niż badani przed laty gimnazjaliści, w dodatku tamto badanie - na wiosnę - odbywało się przed egzaminami gimnazjalisty, co mobilizuje do nauki, a różnica czasu obejmuje też wakacje, podczas których młodzi ludzie rozwijają zgoła inne umiejętności.

Ale już uczniowie klasy III powinni mieć wyniki lepsze o 10 pkt (gdy są po ośmioletniej podstawówce) lub o 20 pkt (gdy są po sześcioletniej podstawówce i trzyletnim gimnazjum).

Przy takich - ostrożnych - założeniach straty kolejnych roczników względem "starych gimnazjalistów" wyglądają tak:

"Wiedzieliśmy, że pacjent jest chory, ale nie wiedzieliśmy, jak poważnie. Nasze badanie pozwala stwierdzić, że jeszcze bardziej, niż można się było spodziewać. Ten silny negatywny efekt widoczny jest nawet przy ostrożnych założeniach, raczej zaniżających skalę negatywnych zmian spowodowanych przez pandemię i zmiany strukturalne w edukacji.

Przykładowo, przyjęliśmy założenie na podstawie przeszłych oszacowań, że roczny przyrost wiedzy i umiejętności to około 10 pkt na skali PISA. To założenie konserwatywne, według niektórych badań międzynarodowych to może być nawet 20 pkt, wtedy strata edukacyjna okazałaby się jeszcze silniejsza.

Nasze badanie pozwala stwierdzić, że bardziej niż się spodziewaliśmy" - komentuje dr Gajderowicz podkreślając, że "uzyskane straty zostały wyliczone przy założeniach (np. owych 10 pkt postępu na rok) zaniżających skalę negatywnych zmian spowodowanych przez pandemię i reformę, czy jak mówią niektórzy, deformę edukacji, a dokładniej likwidację gimnazjów".

Jak widzimy na powyższym wykresie, umiejętności młodzieży w dzisiejszych szkołach średnich są znacznie mniejsze niż były w końcówce zlikwidowanych przez PiS gimnazjów, przy czym:

• najgorzej wypada klasa II, która jest już drugim rocznikiem "szkoły po deformie". Wypada gorzej niż klasa III (po podstawówce), co jest zaskakujące, bo oznacza, że nowy system "nie uczy się" - klasy VII i VIII w szkole podstawowej nie uczą coraz skuteczniej umiejętności, a wręcz przeciwnie;
• największe straty ponieśli uczniowie w zakresie wnioskowania w naukach przyrodniczych; badacze zwracają uwagę, że może to m.in. wynikać z wycofania przyrody z egzaminu 8-klasisty. Skutki są niedobre - ograniczenie nauczania myślenia naukowego, stawiania hipotez, planowania eksperymentów i obserwacji, wyciągania z nich wniosków itp.

Deforma tylko trochę mniej szkodliwa niż pandemia

W powyższych wynikach porównujemy szkolne roczniki, przy czym skutki pandemii nakładają się ze skutkami "deformy", jedno i drugie oznacza gorsze nauczanie umiejętności. Badacze z Evidence Instytut spróbowali jeszcze wyodrębnić straty wynikające z jednego i drugiego powodu.

Na wykresie niżej widać właśnie te szacunki.

Efekt zmian strukturalnych wyliczono porównując:

• wyniki 15-letnich uczniów gimnazjów z lat wcześniejszych (gdy o pandemii nawet nam się nie śniło) oraz osób z III klas szkół średnich, które kończyły jeszcze gimnazja,
• z wynikami uczniów, którzy ukończyli już ośmioletnią szkołę podstawową (i są w II i III klasie szkoły średniej).

Po uwzględnieniu efektu "deformy edukacji" oszacowano wpływ nauczania w pandemii na wyniki uczniów, porównując:

• oczekiwane wyniki w oparciu o badania PISA z lat 2003-2018
• z prawdziwymi wynikami uzyskanymi w badaniu TICKS w 2021 roku.

W wyniku tych obliczeń Evidence Institute przedstawił własny szacunek negatywnego efektu pandemii oraz niezależnego od niej efektu "deformy edukacji".

Jak widać, w przypadku umiejętności czytania ze zrozumieniem (kolor fioletowy) efekt pandemii jest mniejszy niż "rewolucji antygimnazjalnej", co może wynikać z tego, że ta umiejętność była szczególnie ćwiczona w gimnazjach, także w ramach przygotowań do testu gimnazjalisty (w miarę nowoczesnego narzędzia sprawdzającego nie tyle wiedzę, ile właśnie umiejętności).

Trudniej też w nauczaniu zdalnym uczyć interpretacji tekstów zwłaszcza dłuższych czy literackich.

Pozostałe dwie umiejętności - matematyczne (kolor niebieski) i rozumowania (czerwony) w naukach przyrodniczych - ucierpiały bardziej w warunkach nauki zdalnej. Najmniejsze straty matematyki w wyniku likwidacji gimnazjów mogą wynikać z tego, że materiał do opanowania jest najbardziej konkretny i te umiejętności łatwiej ukształtować nawet w warunkach nauczania zdalnego. Z wyjątkiem osób, które mają utrudniony dostęp do zdalnej nauki, rzecz jasna.

Skutki pandemii i "deformy" w Warszawie mniejsze niż w całym kraju

Co jeszcze gorsze, - jak informuje dr Gajderowicz - "pierwsze analizy wskazują, że - jak zwykle w takich wypadkach - większe koszty pandemii i zmian strukturalnych w edukacji płacą uczennice i uczniowie słabsi. To zarazem statystycznie częściej dzieci ze środowisk defaworyzowanych, rodziców uboższych i z mniejszym wykształceniem. Zarówno COVID-19, jak likwidacja gimnazjów przyczyniły się niestety do zwiększenia nierówności edukacyjnych. Pokażemy to szczegółowo w następnych raportach".

OKO.press zwracało już wielokrotnie uwagę, że PiS podwójnie zaszkodził młodzieży ze wsi i innych defaworyzowanych środowisk z mniejszym dostępem do pozaszkolnej edukacji i wsparciem rodziców. Podwyższenie obniżanego przez rząd PO-PSL wieku szkolnego z powrotem do 7 lat oznacza późniejszy start nauki w zerówce i I klasie, która wyrównuje szanse dzieci gorzej wyposażonych kulturowo.

Jeszcze bardziej szkodzi im skrócenie edukacji ogólnej z 9 do 8 lat, zwłaszcza że w dużej części trafiają do szkół branżowych, gdzie poziom nauczania ogólnokształcącego jest niższy.

Także pandemia uderzyła mocniej w dzieci z uboższych rodzin. W nauczaniu zdalnym miały do dyspozycji mniej dostępnego sprzętu (komputery, smartfony), brakowało cichego miejsca do nauki, rodzice nie potrafili im pomóc.

Jak widać, destrukcyjny efekt zarówno "deformy", jak epidemii będzie silniejszy w przypadku dzieci z rodzin defaworyzowanych i ze środowisk uboższych kulturowo. Dlatego można z dużym prawdopodobieństwem założyć, że efekty wychwycone w badaniu Evidence Institute są silniejsze w mniejszych miejscowościach czy w rodzinach mniej zamożnych niż warszawska średnia.

Alarm badaczy. Ratujmy dotknięte pandemią roczniki

W podsumowanie Evidence Institute alarmuje: trzeba przystąpić do natychmiastowego ratowania dotkniętych pandemią roczników.

Dr Gajderowicz: "Obniżenie umiejętności uczniów oznacza nie tylko pogorszenie szans życiowych tych młodych ludzi. Z badań światowych wiadomo, że jest korelacja między umiejętnościami mierzonymi w PISA, a np. zarobkami, jakie uzyskają jako ludzie dorośli. Analizy dowodzą też, że stratę umiejętności młodych ludzi można przetłumaczyć na zmiany w PKB kraju. W obliczu tak dramatycznych strat edukacyjnych, wszystkie wysiłki powinny być zorientowane na pilny program ratunkowy.