Tajemnice exit poll, czyli jak Ipsos obliczy wynik wyborów, który zobaczymy o 21. "Są nerwy"

Piotr Pacewicz, OKO.press: Nerwy?

Dyr. Paweł Predko, Ipsos: Na pewno trochę tak.

My też będziemy się denerwować czekając o 21:00 na wyniki waszego sondażu tzw. exit poll, czyli "sondażu wyjścia", bo badacie osoby wychodzące z lokali. Pan odpowiada za całą operację.

To mogą być jedne z trudniejszych wyborów, w jakich prowadziliśmy sondaż exit poll. Nasz stres nie wynika z braku zaufania do narzędzi, jakimi się posługujemy, ale z tego, że

Bez czekania choćby na late poll, który powinien być o godzinę wcześniej niż w czasie I tury, czyli koło północy, opinia publiczna uzna, że mamy już prezydenta i zaczną się komentarze. Po naszym exit poll w wyborach parlamentarnych 2019, gdzie trafiliśmy w wyniki PiS i KO z dokładnością 0,0 proc. i 0,1 proc. oczekiwania są takie, że exit poll to w zasadzie wynik wyborów.

Tyle mówimy o procentach, więc warto przypomnieć, że wynik zależy - i to w 100 procentach! - od wyborców, a my możemy robić tylko jedno: jak najlepiej przygotować badanie. Tu mam pewność - jesteśmy gotowi.

Co to znaczy dokładnie?

Sprawdziliśmy wszystkie systemy obliczeniowe, przeprowadziliśmy szkolenia w terenie, sprawdziliśmy systemy zbierania danych łącznie z awaryjnymi. Zrobiliśmy próbę generalną w której ankieterzy - mamy ich 1050 - wysyłali nam przygotowane przez nas ankiety testowe. Tym sposobem do centrali trafiły dane z 2-3 tys. fikcyjnych ankiet, sprzed 500 wylosowanych komisji, gdzie będą pracować ankieterzy, zbierając informacje od 50 tys. osób.

Tych samych, co dwa tygodnie temu?

Tak. Wszystko spłynęło bez kłopotów, systemy to przeliczyły aż do momentu finalnych wyników. Przesłaliśmy je bezpiecznym kanałem trzem stacjom telewizyjnym: TVN, TVP i Polsatowi, dla których pracujemy, oni to odebrali bez przeszkód i również sprawdzili w swoich programach przygotowanych na wieczory wyborcze. Wszystko gra.

Ankieterzy używają aplikacji mobilnej, która natychmiast po wprowadzeniu wysyła do centrum każdą ankietę. Podobnie, w sposób automatyczny, działają systemy obliczeniowe,

Nie denerwujemy się o to, czy podamy prawidłowy wynik, oczywiście z uwzględnieniem błędu pomiaru.

I tu jest pies pogrzebany. Przez kilka godzin będziemy znali tylko przybliżony wynik wyborów, bo błąd pomiaru, który - mówił to Pan w naszej rozmowie przez I turą - wynosi 2 pkt proc. To sprawia, że nawet 51,8 proc. do 48,2 proc. nie będzie pewnym rozstrzygnięciem.

Zgadza się, stąd ten trochę większy stres, jaki szykuje się na koniec dnia głosowania.

Dlaczego ten błąd jest tak duży, skoro próba badana jest ogromna - 50 tys. osób. W zwykłych sondażach przedwyborczych badanych jest zwykle 1000, a deklarujących sympatie polityczne jeszcze mniej. Jak pamiętam ze studiów, za sensowny błąd losowy należy uznać pierwiastek z liczby pomiarów, czyli przy 50 tys. nie powinien być większy niż 200-250 przypadków. To daje tylko pół procenta.

Z naszych wieloletnich doświadczeń, również międzynarodowych, wiemy, że błąd może być większy niż wynikałoby ze wzoru na próbę prostą. Są dwa powody. Po pierwsze, nasza próba komisji wyborczych nie jest zwykłą losową próbą prostą: losujemy w warstwach, tak by zapewnić reprezentatywność wielkości komisji, co oznacza też proporcje komisji wiejskich i miejskich oraz reprezentacji województw. Ponadto zebrane ankiety pochodzą z wiązek po 100 ankiet na wyborczy. Błąd czysto losowy wynikający z takiego doboru próby jest więc na pewno większy niż uczono pana na studiach.

Kluczowy jest jednak drugi czynnik: odmowy odpowiedzi i podawanie fałszywych deklaracji.

Oszukują ankietera?

Część może to robić dla wygłupu, albo na złość, albo żeby ukryć wybór, który w ich przekonaniu nie spodoba się ankieterowi i wolą się pochwalić innym. W literaturze opisane jest zjawisko, że jeżeli ktoś jest zdecydowanym liderem to w sondażach, to otrzymuje premię – chętniej przyznajemy się do lidera, ponieważ sami chcemy tacy być.

Ale to wszystko wciąż margines. Prawdziwym problemem są odmowy. Badani albo od razu uciekają przed ankieterem, albo wypełniają tylko jedną stronę ankiety - podają swoje dane socjometryczne (wiek, wykształcenie plus informacja na kogo głosowali w I turze i w wyborach prezydenckich 2015), ale nie wypełniają drugiej strony, która wygląda tak jak karta wyborcza. Nie informują nas, kogo poparli w wyborach.

W I turze takich odmów - jak mówił Pan OKO.press - było 11,13 proc. Dużo.

Zakładamy, że w II turze będzie 10 proc. To oznacza, że dostajemy pełne odpowiedzi 90 proc. osób (ok. 45 000 z tych, których prosimy o wypełnienie ankiety). Załóżmy, że popierają one obu kandydatów w tym samym stopniu. Rzecz w tym, że głosy pozostałych 10 proc. (5 tys. osób) mogą się różnić rozkładem odpowiedzi od tych 90 proc. Gdyby np. wszystkie te osoby unikające ankieterów głosowały na jednego kandydata, to wynik wyborów nie wyglądałby 50 proc. do 50 proc., ale 45 do 55 proc. Oczywiście tak skrajnej sytuacji nie będzie, ale tendencja może być.

Dlatego będziemy sprawdzali w czasie dnia wyborczego, kto nam odmawia, czy bardziej wyborcy Dudy czy Trzaskowskiego. Będziemy to monitorować, by zastosować odpowiedni sposób ważenia.

Mówił Pan w 2019 roku także o braku zaufania wyborców prawicy do nieznanej im firmy medialnej. Ale czy skoro PiS był niedoszacowany, to kandydat popierany przez ten obóz też może być niedoszacowany?

Może tak być, ale tego nie wiem przed badaniem. Jest to jedno z głównych zadań podczas dnia wyborów polegające na gruntownej analizie poziomu i profilu odmów odpowiedzi. Sprawdzimy, w jakim wieku są odmawiający, z jakich miejscowości (wieś, mniejsze miasta, większe), z jakich regionów pochodzą - i na tej podstawie oszacujemy, ile odmów przypada na każdego z kandydatów.

Gdyby je po prostu pominąć oznaczałoby, że poparcie wśród odmawiających jest takie same jak wśród tych, którzy dali się przebadać.

Dokładnie! A rzadko jest to niestety prawdą.

W I turze idealnie trafiliście z wynikiem Trzaskowskiego (błąd 0,06 pkt proc.) i Hołowni (0,4 pkt proc.), ale wynik Dudy okazał się ostatecznie wyższy o 1,7 pkt proc. Wśród odmawiających była nadreprezentacja wyborców Dudy, podobnie jak w eurowyborach 2019, gdy odmawiali głównie wyborcy PiS.

Wyniki exit poll z I tury zmieściły się w granicach błędu pomiaru, czyli owych 2 pkt proc. Analizując odmowy zorientowaliśmy się, że jest tendencja unikania ankieterów przez wyborców Dudy, ale minimalnie nie doceniliśmy jej skali.

Czy teraz w II turze, gdy zniknęli inni kandydaci, udział odmów na Dudę jeszcze się zwiększy? Emocje polityczne wzrosły.

Niekoniecznie. W wyborach 2015 wystąpiła tu zasadnicza zmiana. W I turze wyborcy Dudy unikali ankieterów, w II turze tego efektu już nie było i poziom odmów wyborców Komorowskiego i Dudy okazał się podobny. Ale fakt, polaryzacja utrudnia pracę badaczom, choć przecież nie jesteśmy po żadnej stronie.

Po I turze 2015 Duda stał się mniej "obciachowy", a Komorowski stracił na prestiżu m. in. ogłaszając referendum o jednomandatowych okręgach wyborczych, co miało mu dać głosy wyborców Kukiza?

To pana przypuszczenia, nie prowadziliśmy takich badań. Zobaczymy, każde wybory są inne. Na szczęście nie jesteśmy skazani na spekulacje, ani analogie historyczne. Będziemy starali się w czasie wyborczej niedzieli ocenić, kto bardziej ukrywa swoje poglądy przed ankieterami.

Jest drugi poważny problem. Exit poll wychwyci wyborców głosujących w komisjach obwodowych. Nie obejmie więźniów, których jest ponad 70 tys., a co ważniejsze nie obejmie Polek i Polaków głosujących za granicą W I turze głosowało ich 315 tys., w II turze zarejestrowało się aż 519 tys., czyli głosów ważnych może być w II 430 tys. a już ok. 2,0 proc. wszystkich głosujących. Za granicą Trzaskowski zdobył w I turze prawie połowę głosów a Duda tylko jedną czwartą, ale duża liczba głosów Hołowni przepłynie na Trzaskowskiego. Może on zatem dostać więcej niż dwie trzecie zagranicznych głosów, co daje dodatkowe 1,4-1,5 proc. wszystkich oddanych głosów, a Duda tylko 0,5-0,6 proc. Przy wyścigu "łeb w łeb" taki dodatkowy zastrzyk blisko 1 proc. głosów może wręcz zdecydować o wyniku.

W I turze korekta wszystkich głosów zagranicznych i w obwodach zamkniętych w zakładach karnych, szpitalach i tp. była stosunkowo niewielka - 0,3 proc. na niekorzyść Andrzeja Dudy.

Ale to wszystko daleko idące spekulacje, można dodać te 0,3 proc. Trzaskowskiemu i zmniejszyć trafność pomiaru, jeżeli okaże się, że były inne niedokładności, które działały na jego korzyść.

Najważniejsze, by trafnie zbadać, jak głosowali obywatele w komisjach obwodowych. Wynik który podamy: Duda kontra Trzaskowski będzie z dokładnością do 2 pkt proc.

Prosimy więc cierpliwie poczekać do północy, kiedy podamy sondaż late poll.

Nasi ankieterzy poczekają aż ich obwodowe komisje wyborcze policzą głosy i podadzą oficjalny wynik głosowania. Wyślą nam te informacje, które sukcesywnie będą zastępować wcześniejszy pomiar sondażowy. Standardowo około północy powinniśmy mieć zebrane wyniki oficjalne z połowy wylosowanych przez nas komisji i wtedy podamy skorygowaną prognozę rezultatu wyborów - w połowie na podstawie sondaży, w połowie - prawdziwych wyników. Po następnych 2-3 godzinach powinniśmy już mieć oficjalne dane z 90 proc. komisji i wtedy wydamy finalny komunikat, który - jak pokazuje doświadczenie - od prawdziwych wyników wyborów różni się maksymalne o 0.5 pkt procentowego.