Gorsze wyniki słynnej PISA 2015, które tak "martwią" MEN, OKO.press wyjaśnia "hipotezą komputerową", bo dzieci pierwszy raz wypełniały kwestionariusze na komputerze, a nie na papierze. Znaleźliśmy sposób oszacowania, że mogło to pogarszać wyniki nawet o 6-8 proc. Co by oznaczało, że umiejętności naszych nastolatków są wciąż rewelacyjnie wysokie


Niepokój budzi to, że w badaniach PISA nastąpił spadek średnich wyników uczniów między rokiem 2012 i 2015 i w sposób szczególny dotyczy on nauk przyrodniczych

Anna Zalewska, Komunikat MEN - 06/12/2016

01.10.2014 Warszawa , Sejm . Anna Zalewska i prezes Jaroslaw Kaczynski podczas debaty nad expose premier Ewy Kopacz . Fot . Slawomir Kaminski / Agencja Gazeta


raczej fałsz. Niepokój jest raczej nieuzasadniony (a na pewno nieszczery)


Taką ocenę wyraził w imieniu MEN wiceminister Maciej Kopeć (min. Zalewska ostatnio wypowiada się mniej). Na ile te obawy – zapewne nieszczere – są uzasadnione?

Wyniki PISA, czyli rzecz polityczna

W najsłynniejszych edukacyjnych badaniach świata PISA polskie piętnastolatki zrobiły furorę. Z poziomu co najwyżej średniaka w 2000 roku (wśród 43 badanych krajów i regionów) awansowały z badania na badanie (prowadzone co trzy lata), by w 2012 roku znaleźć się w ścisłej światowej czołówce (wśród 65 krajów). I to we wszystkich trzech dziedzinach, które obejmuje pomiar: czytania i interpretacji tekstów, rozumowania matematycznego oraz rozumowania w naukach przyrodniczych.

Nie licząc siódemki edukacyjnych cyborgów wschodnioazjatyckich (Singapur, Japonia, Korea, Tajwan, Makao, Wietnam oraz kilka najbardziej rozwiniętych okręgów Chin m.in. Pekin i Szanghaj),

wśród krajów UE w 2012 roku wyprzedziły nas: w czytaniu – jedynie Finlandia i Irlandia, w matematyce tylko Holandia, Finlandia i Estonia, a w przyrodzie – Finlandia i Estonia.

Na rezultaty najnowszej PISA (z 2015 roku; 72 kraje) oczekiwano w Polsce z napięciem. Wynik musiał bowiem wpisać się w awanturę wokół „deformy edukacji”, którą zamierza wprowadzić PiS.

Opiera się ona na wyrażonej w programie PiS tezie, że polska edukacja stosując metodę „niewolniczej imitacji” wzorów zachodnich, znalazła się w ruinie, a szczególnie zaszkodziły jej gimnazja. Tymczasem właśnie wprowadzenie gimnazjów, wydłużenie edukacji ogólnej do dziewięciu lat i objęcie nią 15-latków, którzy poprzednio trafiali do różnych typów szkół, najlepiej wyjaśnia wzrost umiejętności polskich dzieci.

Polski przykład był cytowany w całym edukacyjnym świecie jako efekt opóźnienia edukacyjnej selekcji i wyrównywania szans, przy czym najbardziej poprawiły się wyniki słabszych uczniów, którzy gdyby nie reforma 1999 roku w wieku 15 lat byliby w szkołach zawodowych.

Likwidacja gimnazjów sprawi, że selekcja edukacyjna zostanie znów przyspieszona, co musi zwiększyć różnice i obniżyć ogólny poziom (także w PISA). O ile do tego dojdzie.

2015 faktycznie gorszy

Wyniki w 2015 roku okazały się gorsze niż trzy lata wcześniej:

  • w rozumowaniu w  naukach przyrodniczych polskie uczennice i uczniowie uzyskali 501 pkt (a w 2012 r. – 525 pkt),
  • w czytania i interpretacji tekstu – 506 pkt (było 518),
  • w rozumowaniu matematycznym – 504 pkt (było 518 pkt).

Między 2012 a 2015 większość krajów OECD zanotowała jednak spadek wyniku w punktach (500 to z średni wynik z wcześniejszych badań, z odchyleniem standardowym 100 pkt, co oznacza, że 2/3 badanych mieści się między 400 a 600).

Dlatego więcej nam powie porównanie pozycji Polski wśród innych krajów.

Hipoteza cudu 2012

OKO.press przedstawia to na wykresie, w którym porównujemy wyniki Polski na tle krajów Unii Europejskiej.

PISA 2000-2015. Polskie nastolatki w EU

Miejsca od 14 do 3, jakie zajęły polskie piętnastolatki wśród krajów UE

  • Zobacz objaśnienia do wykresu

    • miejsce w rankingu jest uproszczeniem, bo nie musi wyrażać różnic statystycznie istotnych. Na przykład w 2015 roku w czytaniu Polska zajmuje 5. miejsce, ale wynik Niemiec (nr 4) jest statystycznie identyczny z naszym. Czyli tak naprawdę lepsze są trzy kraje: Finlandia, Irlandia i Estonia, a Polska jest czwarta ex equo z Niemcami). Podobnie w istotny statystycznie sposób wyprzedza nas w przyrodzie – tylko sześć krajów (Estonia, Finlandia, Słowenia, Wlk.Brytania, Niemcy i Holandia), w matematyce pięć (Estonia, Holandia, Dania, Finlandia i Słowenia). Wyniki Polski są tak naprawdę nieco lepsze niż wynikałoby z wykresu;
    • sposób badania PISA pozwala na porównywalność wyników trzech skal od momentu, gdy dana skala była głównym tematem badania. Dlatego wykresy zaczynaja się dla czytania w 2000 roku, matematyki w 2003, a przyrody w 2006 r.
    • badanych krajów UE przybywało (np. w 2009 dołączyła Bułgaria i Ruminia), ale tylko w jednym wypadku wpłynęło to na pozycję Polski, gdy w 2006 roku dołączyła do PISA Estonia (i było to wejście smoka; dziś to Estonia zajęła miejsce Polski jako najlepszy uczeń w klasie)

Jak widać na wykresie, wyniki 2015 r z grubsza przypominają te z 2009 roku. Suma polskich miejsc w rankingu na trzech skalach w 2012 wyniosła tylko 10 (4 + 3 + 3), ale w 2015 wzrosła do 23, dokładnie tyle ile w 2009 r. W pierwszych badaniach PISA było to nawet 40, w 2006 – 30.

Możnaby to zinterpretować, jako „cud roku 2012”, kiedy polskie nastolatki wdarły się na sam szczyt nie tylko europejskich rankingów. Po sieci krążyły nawet spiskowe teorie,

że wyniki 2012 roku były wynikiem błędnych pomiarów, złego losowania do badania szkół lub uczniów, a nawet manipulacji. Dalekie od myślenia spiskowego OKO.press sięga po inne wyjaśnienie.

Hipoteza komputerowa – przesłanki

Otóż PISA 2015 po raz pierwszy jest badaniem komputerowym. Oznacza to radykalną zmianę. Zamiast wypełniać kwestionariusz papierowy, uczniowie i uczennice dostawali go w wersji elektronicznej i odpowiadali przy pomocy klawiszy i/lub myszki. W wersji elektronicznej nie można było np. wracać do rozwiązanego lub opuszczonego zadania.

Oznacza to, że w 2015 r. liczy się dodatkowa umiejętność – obsługi edukacyjnego programu komputerowego i w ogóle posługiwania się komputerem. Z „przecieków” z badania 2015 wiemy o zaskoczeniu wielu uczniów i ich trudnościach w wypełnianiu kwestionariusza, w czym nie umieli pomóc nauczyciele.

W grę wchodzi bowiem problem polskiej szkoły z nowoczesnymi technologiami.

Dał o sobie znać już w 2012 roku. W badaniu PISA przeprowadzono wtedy dodatkowe badanie nazwane „kreatywnym rozwiązywaniem problemów” (creative problem solving). I tu okazało się, że polskie natsolatki uzyskały tylko 481 punktów, znacząco poniżej średniej, przy czym wyprzedziły nas kraje, które w PISA są słabeuszami (np. USA czy Rosja).

Ten wynik interpretowano – w ocenie OKO.press fałszywie – jako niski poziom kreatywności dzieci z Polski, tymczasem kluczowe wydaje się raczej specyfika problemów do rozwiązania (obsługa i proste programowanie różnych urządzeń elektronicznych) a przede wszystkim metoda badania.

Polskie dzieci rzadziej niż w innych krajach rozwiniętych edukacyjnie używają komputerów w uczeniu się i sprawdzaniu swej wiedzy.

Kontrargumentem dla hipotezy komputerowej mogłoby być badanie Międzynarodowego Badania Kompetencji Komputerowych i Informacyjnych (ICILS) z 2013 roku, w którym nasi gimnazjaliści wśród 20 krajów zajęli piąte miejsce. Sami badacze podkreślają jednak, że mierzone umiejętności życia w „cyfrowej rzeczywistości” były zdobywane i wykorzystywane przez uczniów poza szkołą.

Testujemy hipotezę komputerową

Na szczęście istnieje dobry sposób sprawdzenia „hipotezy komputerowej”, zgodnie z którą to zmiana metody badania odpowiada w znacznej mierze za pogorszenie polskiego wyniku PISA w 2015 roku.

Okazuje się bowiem, że także poprzednie badaniach – choć na niewielką skalę – prowadzano obok metody tradycyjnej (papier – ołówek) przy pomocy komputera.

Wyniki dla rozumowania w naukach przyrodniczych policzył dr Maciej Jakubowski z Evidence Institute i są one „porażąjace”

PISA 2009-2012. Wyniki polskich nastolatków w zależności od metody badania

Arkusz zadań na papierze = kolor czerwony, na komputerze = granatowy

PISA 2009
 
PISA 2012
 
PISA 2015

Analiza Macieja Jakubowskiego (Evidence Institute)

Jak widać, w poprzednich badaniach PISA użycie metody komputerowej dawało dramatyczne pogorszenie wyników z poziomu prymusa na przeciętniaka.

Dotyczy to także dwóch pozostałych skal. W „cudownym roku 2012” wynik polskich uczniów w matematyce wyniósł 518 punktów, ale w badaniu komputerowym był niższy aż o 29 punktów (489). Jeszcze gorzej z czytaniem: 477 punktów,  o 41 mniej niż w badaniu papierowym!

„Efekt komputera” obniżał wyniki w PISA 2009 o ok. 7 proc., a w 2012 o 6 proc. (dla czytania nawet 8 proc.).

Gdyby przyjąć, że ten efekt w 2015 roku byłby podobny, można szacować, że wyniki przy pomocy tradycyjnej metody wyniosłyby mniej więcej:

  • w rozumowaniu w  naukach przyrodniczych – 531 pkt,
  • w czytania i interpretacji tekstu – 546 pkt,
  • w rozumowaniu matematycznym – 534 pkt.

Takie rezultaty dałyby nam pierwsze miejsca w UE i miejsce w pierwszej piątce świata.

Oczywiście powyższych wyliczeń nie należy traktować zbyt dosłownie. Są powody, by sądzić, że „efekt komputera” był w 2015 roku słabszy niż poprzednio, skoro była to główna metoda badania, a także dlatego, że używanie komputerów w szkole zwiększa się.

Tak czy inaczej, należy uznać wyniki 2015 roku za znacznie „zaniżone” ze względu na metodę badawczą.

Wniosek dla polskich szkół – nie tylko ze względu na wynik w PISA – brzmi: używajcie więcej nowoczesnych technologii. PiS-owska „deforma” także tutaj idzie raczej w odwrotnym kierunku.

 

 

Naczelny OKO.press. Redaktor podziemnego „Tygodnika Mazowsze” (1982–1989), przy Okrągłym Stole sekretarz Bronisława Geremka. Współzakładał „Wyborczą”, jej wicenaczelny (1995–2010). Współtworzył akcje: „Rodzić po ludzku”, „Szkoła z klasą”, „Polska biega”. Autor książek "Psychologiczna analiza rewolucji społecznej", "Zakazane miłości. Seksualność i inne tabu" (z Martą Konarzewską); "Pociąg osobowy".


Lubisz nas?

Dołącz do społeczności OKO.press