OKW podała wynik wyborów z niezwykłą precyzją, jeszcze lepiej niż Ipsos. Jak oni to zrobili?

W poniedziałek 16 października 2023 rano, kiedy znane były tylko wyniki sondażu exit poll i opinia publiczna drżała, czy się potwierdzą, niemal jednocześnie pojawił się drugi late poll Ipsosa i wyniki badania prowadzonego przez inicjatywę Obywatelska Kontrola Wyborów. Były prawie takie same, co dodatkowo nas uspokoiło.

Pierwsze podane przez PKW wyniki wyborów wskazywały na triumf PiS, ale – jak tłumaczyliśmy – były to strachy na lachy.

Kolejne konferencje PKW były coraz bliższe sondażom late poll Ipsosa i OKW, a ostateczne rezultaty wyborów okazały się niemal identyczne. Średni błąd w wyniku pięciu partii był wg szacunku Ipsosa minimalny – wyniósł tylko 0,36 pkt. proc. Ale badanie OKW okazało się jeszcze dokładniejsze – błąd wyniósł 0,19 pkt proc.

O wielkiej społecznej akcji, jaką była kontrola wyborów, mówi OKO.press Kuba Karyś, szef Komitetu Obrony Demokracji, który ją koordynował, a dr Jacek Haman opowiada, jak stworzył wręcz idealną – jak się okazało – próbę 1024 komisji:

„Statystyka jest nauką, która daje dobre efekty, zwłaszcza kiedy losuje się takie grzeczne obiekty jak komisje, a nie ludzi, jak w przypadku sondażu exit poll, bo część z nich nam nie odpowie”.

Karyś: Miały być wybory bez picu i takie były

Kuba Karyś, szef KOD, który organizował Obywatelską Kontrolę Wyborów: W rozmowie z OKO.press przed wyborami powiedziałem, że proponujemy ludziom układ: wy pójdziecie na wybory, a my przypilnujemy, żeby były uczciwie policzone. Udało się jedno i drugie, i to tysiąc razy lepiej, niż się spodziewaliśmy. Elementem tego dealu było badanie typu late poll, czyli ustalenie, jaki ten wynik wyborów powinien być, co także było zabezpieczeniem przed ewentualnymi próbami fałszowania. Przed wyborami były takie obawy, nawet w dniu wyborów krążyły wręcz spiskowe teorie.

Nasza akcja dała wyborcom i wyborczyniom poczucie bezpieczeństwa.

Z wyników badania jestem dumny. To wielka zasługa prof. Jacka Hamana, który wykonał fantastyczną pracę i dał nam wręcz idealną próbę komisji. Do tego doszła wielka praca obserwatorów Obywatelskiej Kontroli Wyborów, którzy pilnowali pracy komisji. Ich zadaniem było także przekazanie nam wyników wyborów, gdy tylko zostały policzone. OKW to był gigantyczny wysiłek i wielka mobilizacja całego KOD-u i wszystkich 27 tys. obserwatorów i obserwatorek.

Teraz odsypiamy ten wielki wysiłek. Chcę gorąco podziękować tej armii wolontariuszy, koordynatorów, komputerowców, grafików, osobom pracującym w infolinii...

I jeszcze jedno. Mimo tak wielkiego napięcia, takiego konfliktu, takich podziałów, nikt, żaden polityk, żaden publicysta nie podważał wyniku wyborów, nikt nawet nie próbował sugerować, że coś było nie tak. Mamy w tym nasz skromny udział.

Haman: jako fan prób losowych dodałem jeszcze kilka sztuczek

Piotr Pacewicz, OKO.press: Gratuluję. Średni błąd oszacowania poparcia pięciu głównych partii w late pollu Obywatelskiej Kontroli Wyborów, któremu dostarczył pan próbę komisji, wyniósł 0,19 pkt proc. Tyle, co nic. Największa pomyłka to było niedoszacowanie PiS. Przewidywaliście poparcie 34,8 proc., a było pół procenta więcej – 35,38 proc.

Dr hab. Jacek Haman, Wydział Socjologii UW*: Nie znałem tych wyników, ale miło, że zadziałało. Ja tylko losowałem próbę, a to jest zawsze loteria. Można troszkę tej loterii pomóc, starałem się, żeby trafienie było lepsze. Ostatecznie decyduje łut szczęścia, ale jak się ma dobrą próbę w sondażu late poll, to trudno się pomylić. O ile ktoś rzetelnie zbierze dane, a tym się już nie zajmowałem.

To była robota obserwatorów OKW, którzy nadsyłali wyniki głosowania z wylosowanych przez pana 1024 komisji obwodowych.

No tak, generalnie statystyka jest nauką, która daje dobre efekty, zwłaszcza kiedy losuje się takie grzeczne obiekty jak komisje, a nie ludzi, jak w przypadku sondażu exit poll, bo część z nich nam nie odpowie.

Generalnie rzecz biorąc, próba losowa jest zawsze reprezentatywna, na tym opiera się statystyka. Kiedy losujemy ludzi, to mamy problem, że część nam ucieknie, czyli próba robi się dziurawa. Ale jak losujemy komisje obwodowe, to zostaje już tylko kwestia dobrej organizacji badania.

Oczywiście jest także błąd losowy, ale on jest tym mniejszy, im próba jest większa.

Błąd losowy ma to do siebie, że nie wiemy, jaki będzie, czyli w tym przypadku, której partii damy za mało, a której za dużo, bo gdybyśmy to wiedzieli, to byśmy go nie popełnili. Wiemy jednak mniej więcej, jak dużego błędu możemy się spodziewać. W badaniu OKW wiedzieliśmy, że raczej nie pomylimy się o więcej niż o 0,5 pkt. proc. To ciekawe, że nieco większy błąd popełniliśmy akurat w przypadku PiS.

Czemu to takie ciekawe?

To jest ciekawe, bo optymalizowaliśmy losowanie komisji tak, żeby się wstrzelić w wynik PiS, czyli dotrzeć do wyborców tej partii.

Czyli to nie było jednak takie proste losowanie, że wrzucił pan do umownej maszyny losującej kulki z numerkami 31 497 komisji obwodowych i czekał, aż maszyna wypluje 1034 piłeczek?

To było losowanie, to była próba losowa, ale trochę jej pomogliśmy, żeby zwiększyć szansę, że wylosujemy jeszcze lepszą próbę reprezentatywną. Staraliśmy się, żeby były odpowiednio reprezentowane wszystkie okręgi wyborcze.

Czyli podzieliliście te piłeczki na 41 mniejszych powiedzmy koszyków i z nich losowaliście osobno? 1024 komisje podzielone przez 41 okręgów daje po ok. 25 komisji obwodowych do wylosowania w każdym okręgu.

To nie takie proste, bo liczba obwodów w okręgach się różni, ale coś w tym stylu. Ale dodałem jeszcze kilka sztuczek, jako fan prób losowych. To było tzw. losowanie warstwowe, dokładniej specyficzny rodzaj próby warstwowej, w której porządkuje się obiekty...

Czyli komisje obwodowe...

...ze względu na ileś cech i dopiero potem losuje się co któryś obiekt, najpierw w losowy sposób, wybierając punkt startowy... Zawiłe?

Trochę, ale staram się iść za panem. Wiemy już, że jedno uporządkowanie było według okręgów wyborczych.

Drugą zmienną był podział miasto-wieś, trzeba było tak losować obwody, żeby wiejskich i miejskich było proporcjonalnie tyle, ile wśród wszystkich w Polsce. Trzecią był wynik PiS w 2019 roku.

Dlaczego akurat PiS?

Bo ich wynik w 2019 był najlepszy (43,6 proc. w skali kraju – red.) i ta zmienna polityczna – jako najsilniejsza – mogła zapewniać najlepsze zróżnicowanie. Zresztą ostateczny wynik PiS 35,38 proc. okazał się nadal najlepszy, po ośmiu latach takich rządów... Jakby PO tyle miała w 2015 roku, to nie byłoby tych ośmiu lat z PiS.

Wyniki PiS z 2019 roku sprawdzaliśmy w gminie, gdzie znajduje się komisja. Trzeba było wziąć gminy, bo obwody się zmieniły, przybyło ich ponad 4 tysiące.

Losowaliście zatem mniej więcej co 30 obwód, żeby uzyskać próbę 1024.

Tak, ale w taki sposób, żeby było tyle, ile trzeba obwodów wiejskich i miejskich, żeby okręgi wyborcze były w odpowiedniej proporcji i żeby poparcie dla PiS z 2019 roku było zgodne z ich wynikiem sprzed czterech lat.

Takie zabiegi nie zakłócają losowości próby? Nie przestaje być losowa?

Wręcz przeciwnie, to pomaga, o ile wprowadzisz istotne dla wyniku zmienne. Ale zawsze w końcu losujesz, bierzesz co którąś komisję, tak jak ankieterzy wybierają co którąś osobę wychodzącą lokalu wyborczego. Tyle że komisje nam nie odmawiają, o ile oczywiście obserwatorzy OKW dobrze wykonują swoją pracę.

Ipsos zapewne losował komisje podobnie, tylko lepiej, bo ma więcej środków, ludzi i czasu.

Ale wasz efekt jest minimalnie lepszy. W Ipsosie błąd w drugim late pollu wyniósł średnio 0,36 pkt proc.

To praktycznie żadna różnica. Tak czy inaczej, stosunkowo prosta statystyka w połączeniu w rzetelnym wykonaniem pomiaru prowadzi do ładnych wyników. Pracowni Ipsos należy pogratulować, bo po raz kolejny się popisali w sondażu exit poll. Widać, jak postępuje technologia modelowania braków danych...

...czyli odmów odpowiedzi

Exit poll to większa sztuka, bo trzeba przewidzieć, jak głosowali ludzie, którzy odmówili odpowiedzi. Ale jak się karmi ten model danymi z ostatnich kilkunastu lat, tak jak robi to zapewne Ipsos, to rezultaty też są fajne.

20 lat temu wstrzelić się z sondażem exit poll w błąd mniejszy niż 1 pkt proc. było niemożliwe (średni błąd prognozy exit poll Ipsosa w dniu wyborów dla pięciu partii wyniósł 0,97 pkt. proc. – red.). Inna rzecz, że nikomu by korona z głowy nie spadła, gdyby poczekał na wyniki wyborów dzień czy nawet dwa, a choćby nawet do pierwszego sondażu late poll w środku nocy. Ale skoro ludzie muszą wiedzieć natychmiast, punkt o godz. 21:00, jaki jest wynik, to dobrze, że także exit poll się fajnie sprawdza.

*dr hab. Jacek Haman, kierownik Katedry Modeli Formalnych i Metod Ilościowych w Socjologii Wydziału Socjologii Uniwersytetu Warszawskiego, członek Zespołu Ekspertów Wyborczych Fundacji Batorego. Problematyką wyborów i systemów wyborczych zajmuje się od dwudziestu pięciu lat, metodami statystycznymi w badaniach społecznych jeszcze nieco dłużej