Ipsos o exit poll: Co ogłosimy o 21? Jak to policzymy? Jaki może być błąd? Nerwowa wyborcza noc

Część Państwa już glosowała, część dopiero pójdzie. Wszyscy czekamy na godz. 21, kiedy dowiemy się ... właśnie – czego dokładnie? Jaki może być błąd sondażu exit poll? Skąd bierze się ten błąd, skoro ankietowanych jest aż 90 tys. ludzi? Jak Ipsos będzie ustalał poglądy tych, którzy odmówią wypełnienia ankiety? Czy sondaże exit poll mogą zmierzyć frekwencję? Kiedy poznamy już prawie bezbłędne sondaże late poll? Dlaczego podane w poniedziałek rano wyniki PKW będą niemarodajne?

O wszystkich tajemnicach sondaży w wyborczy wieczór i noc – opowiada nam człowiek odpowiedzialny za całą operację. „Choć sondaży w dniu polskich wyborów przeprowadziłem już kilkanaście, nie do opisania jest to uczucie, kiedy o 20:30 poznajesz przybliżony co prawda, ale bliski prawdy wynik wyborów i wiesz, że za chwilę pozna go cała Polska” – mówi Paweł Predko z Ipsos w wywiadzie, którego wcześniejszą wersję publikowaliśmy przed ciszą wyborczą. Uzupełniliśmy go już w sobotni wieczór, na 12 godzin przed otwarciem lokali.

Piotr Pacewicz, OKO.press: W sobotę cała Polska próbowała się zrelaksować przed niedzielnymi wyborami. A jak pan, jako osoba odpowiedzialna za sondaże Ipsos w dniu wyborów i przygotowanie szacunkowych wyników dla TVN, TVP i Polsatu spędził ten dzień? Nerwy są?

Paweł Predko, dyrektor operacyjny w Ipsos*: Dokładnie tak samo jak wszyscy – to już czas na odpoczynek przed dniem wyborów. Nasi koordynatorzy podsyłają jeszcze ewentualne zmiany w obsadach punktów, jakie postawimy przed lokalami wyborczymi, sprawdzamy czy wszystkie dane po testach zostały usunięte i ogólnie ustawiamy wszystkie systemy do pracy w niedzielę. Przez ostatni tydzień trwały intensywne próby. Na szczęście w piątek je zakończyliśmy i w sobotę osoby mogą odpocząć przed ważnym dniem.

Próba generalna odbyła się z udziałem wszystkich ankieterów, którzy przysyłali ankiety wypełnione według podanego im klucza, w tym odmowy odpowiedzi.

Jaki jest ten klucz, czyli na jakim wyniku wyborów ćwiczyliście? Pytam bez nadziei na odpowiedź z uwagi na ciszę wyborczą...

Nawet go nie znam (śmiech). Sam jestem ciekaw, co sobie założyli analitycy.

W chwili gdy publikujemy tę rozmowę Polki i Polacy już głosują. Proszę nam szczegółowo opowiedzieć, w jaki sposób ustalicie wynik wyborów, który podacie w niedzielę o 21.?

Bez przesady, my tylko powiemy z pewnym przybliżeniem, jaki może być wynik, który w poniedziałek poda PKW.

1, 2, 3, 4... i tego łapiemy

Ze wszystkich ponad 31 tysięcy komisji obwodowych wylosowaliśmy 900 tak, żeby były próbą reprezentatywną, czyli żeby na przykład był w niej taki sam odsetek lokali na wsi, jak wśród wszystkich komisji. Przed każdą z tych 900 komisji od rana stoi para (a przed większymi trójka) ankieterów z urną z logo Ipsosa. Proszą co którąś osobę wychodzącą z lokalu o wypełnienie ankiety; w większych komisjach – co 12. czy 15. osobę, w mniejszych – co czwartą lub piątą. Staramy się tak dobrać ten licznik do odliczania, aby przez cały dzień regularnej pracy przeprowadzić około 100 wywiadów i mieć mniej więcej tyle ankiet w każdym z wylosowanych lokali wyborczych.

A skąd ten licznik?

Wiadomo, ile jest osób uprawnionych w każdej komisji, spodziewamy się też określonej frekwencji. Z tego wynika wskazówka, co którą osobę zaprosić do badania. Jeśli na przykład w danej komisji jest 1000 osób uprawnionych, a oczekiwana frekwencja wynosi 50 proc., to oznacza, że powinno zagłosować 500 osób. I wtedy trzeba pytać co piątą osobę, żeby dostać 100 ankiet.

Czyli ankieterzy sobie odliczają, raz, dwa, cztery, a tego łapiemy.

Coś takiego, może grzeczniej. Muszą trzymać się precyzyjnego odliczania. Nie wolno im na przykład dawać ankiety osobie, która sama się zgłosi.

Jeśli osoba wychodząca z lokalu wyrazi zgodę na udział w badaniu, to dostaje ankietę, długopis i podkładkę. Pierwsza strona ankiety jest niemal identyczna z kartą do głosowania, co zmniejsza szanse na błąd. Druga – to część z danymi demograficznymi, a także informacjami o głosowaniu w wyborach parlamentarnych 2019 roku i w II turze prezydenckich z 2020, a do tego pytania referendalne. Osoba badana wypełnia obie strony, składa ankietę i wrzuca do naszej kartonowej „urny".

Dostaniemy w sumie około 90 tys. ankiet.

Ich wyniki spłyną do centrali?

Ankieterzy używają aplikacji mobilnej, która natychmiast po wprowadzeniu danych wysyła każdą ankietę. Co kilka/kilkanaście sekund otrzymujemy nowe informacje. Podobnie, w sposób automatyczny, działają systemy obliczeniowe.

W siedzibie firmy od rana pracuje kilkadziesiąt osób. Ponad 30 tworzy swego rodzaju call center, które pośredniczy w naszej komunikacji z ankieterami i koordynatorami. Sprawdzają, czy wszystkie ankiety z danej komisji spłynęły, dopytują np. dlaczego brakuje ankiety nr 4, gdy mamy 1, 2, 3 i 5. Pięcioro analityków śledzi te raporty, a przede wszystkim na bieżąco analizuje odmowy udziału w badaniu, które są raportowane co pół godziny.

Odmowa może przyjąć dwie postaci.

Albo osoba wychodząca z lokalu wyborczego po prostu mówi nie i wtedy ankieter sam zaznacza płeć oraz szacuje wiek osoby, zakreślając odpowiedni przedział. Albo, co zdarza się także, wyborca podaje swoje dane – wiek, wykształcenie itp. – ale nie chce ujawnić, jak głosował.

A deszcz? Szansa opadów w Polsce 15 października według prognoz jest niemała, na Wybrzeżu możliwe są burze i opady krupy śnieżnej, czyli takiego mini gradu.

To jest element, na który raczej nie mamy wpływu... Zdecydowanie wolelibyśmy, aby pogoda dopisała. Gdyby padało intensywnie, to mogłoby to zwiększyć liczbę odmów oraz utrudnić pracę naszym ankieterom, którzy – proszę pamiętać – są na posterunku od godz. 7:00 i wcale nie kończą pracy o 21:00, bo czekają na wywieszenie wyników przez komisję.

Odmowy, czyli zmora Ipsosa

W eurowyborach 2019 roku odmów mieliście aż 13 proc. I to było źródłem błędu, podany przez was wynik zwycięzcy wyborów (42,4 proc.) był zaniżony aż o 3 pkt proc.

Tak, wtedy wyborcy tej partii częściej niż inni ukrywali przed nami swoje poglądy. Ale nauczyliśmy się na tamtym błędzie i już w wyborach do parlamentu w tym samym 2019 roku udał nam się jeden z najbardziej trafionych sondaży exit poll w historii nie tylko polskich wyborów, ale w ogóle na świecie w ostatnich latach. 13 października 2019 wynik PiS został w naszym exit pollu niedoszacowany o ledwie 0,01 pkt. proc., a wynik KO podaliśmy z błędem równym zero!

Ile w tym roku może być odmów?

Spodziewamy się ok. 8-12 procent. Na każde 100 ankiet dostaniemy zatem – powiedzmy – 10 ankiet bez odpowiedzi. Załóżmy, że wśród pozostałych 90 ankiet są 33 głosy na listę X, 30 na listę Y. Na trzy kolejne listy łącznie 27 osób.

Sprawa byłaby prosta, gdybyśmy mogli, tak jak w sondażach przedstawić wyniki z uwzględnieniem odmów. Ale nasze zadanie jest inne – mamy zrobić to, co PKW, mając tylko wiedzę o tym, jak głosowali ci, którzy udzielili informacji ankieterom.

Musimy oszacować, jakie poglądy polityczne ma umowne 10 proc. ludzi, którzy nam odmówili i odpowiednio dołączyć ich domniemane głosy do tych 90 proc., którzy nam zaufali. Pamiętam takie wybory, w których osoby odmawiające niczym nie różniły się od tych, którzy wypełniły całą ankietę. Niczego nie trzeba było korygować. Ale trudno liczyć, że to się powtórzy.

Czy po doświadczeniach wyborów 2019 roku przyjmiecie jakieś założenia, że jakaś grupa wyborców będzie częściej odmawiała?

Byłoby to bardzo ryzykowne, a co ważniejsze niepotrzebne.

Mamy przecież informacje, kto odmawia, znamy co najmniej płeć, wiek, województwo, wielkość miejscowości. Czyli sporo o nich wiemy, a niektórzy podają nam jeszcze wykształcenie, zawód, i to, jak głosowali w II turze wyborów prezydenckich 2020 i w parlamentarnych 2019. Brakuje tylko – i aż – informacji, jak głosowali chwilę wcześniej.

Od rana do wieczora analizujemy ankiety z wykorzystaniem kilku modeli matematycznych, które są tajemnicą firmy. Te modele zasilane informacjami o profilu odmów i charakterystyką wyborców, którzy ujawnili nam, na kogo oddali głos, pozwalają „domyślać się” rozkładu politycznych sympatii wśród odmawiających.

Mówiąc w uproszczeniu, stosuje się tu wnioskowanie przez analogię – skoro mężczyźni w starszym wieku, ze wsi, z wykształceniem poniżej średniego głosują w 46 proc. na listę X, to wśród takich osób odmawiających wypełnienia ankiety powinno być 46 proc. głosów na X. Jeśli takich mężczyzn byłoby wśród odmawiających dużo, to trzeba wynik partii X skorygować „w górę”.

Rzecz w tym, że testowanych jest kilka modeli, które dają często różne przewidywania. Pod koniec dnia musimy wybrać jeden i go zastosować.

Po 20:00 zrobi się nerwowo

Nerwowy moment, od którego zależy wasz sukces albo porażka. Ostatecznie Paweł Predko mówi – wybieramy model B.

Ta decyzja zapada w gronie góra trojga osób. Trwa krótka narada, sięgamy do doświadczeń z poprzednich polskich wyborów, bo obsługujemy je od prawie 10 lat. Jakoś dochodzimy do porozumienia, co bywa, owszem, emocjonujące.

Na ile aktualny będzie wynik, jaki podacie o godz. 21:00?

Przekazujemy stacjom telewizyjnym nasz szacunek wyborczy o 20:45. Uwzględnia on dane z 20:30.

W referendum akcesyjnym w 2003 roku wyborcy liberalni zjawiali się w lokalach wyborczych na ostatnią chwilę.

Tak, ale to było w czerwcu. Ludzie wracali z weekendów, żeby zdążyć zagłosować. Nie spodziewamy się podobnego efektu w okresie jesiennym. Wyborcy ostatniej półgodziny nie zmienią już całego obrazu.

Na ile miarodajne będą wyniki, które podacie o 21:00?

Zakładamy, że dopuszczalny błąd wynosi 2 pkt proc.

Czyli jeśli zwycięzca uzyska 36 proc. a druga partia 32 proc., to teoretycznie może być remis.

Zgadza się.

Czyli w przypadku małych różnic będziemy się denerwować, kto wygrał. Czy to nie nadmierna asekuracja? Próba badana jest ogromna – 90 tys. osób. W sondażach przedwyborczych, takich jak wasze dla OKO.press i TOK FM, badanych jest 1000, a deklarujących udział w wyborach 650-700. Jak pamiętam ze studiów, za sensowny błąd losowy należy uznać pierwiastek z liczby pomiarów, czyli przy 50 tys. nie powinien być większy niż 200-250 przypadków. To daje tylko pół procenta niedokładności.

Brawo, zaliczył pan statystykę (śmiech). Pół procenta niedokładności wynika tylko i wyłącznie z losowania próby. I to jest margines błędu, jaki może pojawić się w sondażu late poll, o którym powiem za chwilę. Innymi słowy, jeśli losowalibyśmy kilka razy po 900 komisji np. z wyborów 2019 roku i sumowali poparcie dla kolejnych list, to za każdym razem dostawalibyśmy trochę inne wyniki, właśnie o te 0,5 proc. ponieważ nie sumujemy wszystkich komisji, a tylko część. I to jest błąd losowy.

Ale w naszym szacunku 2 pkt. procentowych musimy też ująć błąd nielosowy, czyli fakt, że nie mamy pełnej informacji o wynikach danej komisji, bo raz, że nie pytamy wszystkich osób, a tylko co którąś, a dwa, że część ankiet to odmowy, czyli brakuje informacji, na kogo dana osoba zagłosowała.

Z naszych wieloletnich doświadczeń, również międzynarodowych, wiemy, że błąd może być większy, niż wynikałoby ze wzoru na próbę prostą.

Jeszcze inaczej to wytłumaczę, bo rzecz jest kluczowa dla zrozumienia naszej pracy.

• Po pierwsze, nasza próba komisji wyborczych nie jest zwykłą losową próbą prostą: losujemy w warstwach, tak by zapewnić reprezentatywność wielkości komisji, co oznacza też proporcje komisji wiejskich i miejskich oraz reprezentacji województw.
• Po drugie, zebrane ankiety pochodzą z wiązek po 100 ankiet na punkt wyborczy. Błąd czysto losowy wynikający z takiego doboru próby jest na pewno większy, niż uczono pana na studiach.
• Trzeci element, tak naprawdę najważniejszy, to właśnie ryzyko związane z szacowaniem preferencji wyborczych osób odmawiających ankieterom. Im więcej odmów, tym błąd może być większy.

To może być nerwowe w przypadku list wyborczych, które dostaną poparcie w okolicach progu – 8 proc. dla koalicji i 5 proc. dla partii. Weszli czy nie weszli? A to może oznaczać, że czyjeś rządy są możliwe lub nie są.

Mając na uwadze nerwy odbiorców, życzyłbym nam wszystkim wyraźnych wyników każdego z ugrupowań. Inaczej faktycznie będzie trzeba kilka godzin poczekać, żeby się upewnić, czy dana partia weszła do Sejmu czy nie.

Podział mandatów z danych w okręgach, ale wciąż niepewny

Będziecie też zbierać wyniki referendum, ale to zamówiła tylko TVP i Polsat. TVN nie chciał.

Oferta policzenia frekwencji i odpowiedzi na cztery pytania referendalne poszła do wszystkich trzech stacji. Jedna nie była tym zainteresowana, dwie były. Decyzja należy do klienta. Pytania referendalne znajdą się na jednej kartce A4 razem z metryczką, osobno od karty wyborczej, gdzie osoba ankietowana zaznacza, którą partię wybrała.

Podacie też rozkład mandatów. W tej sprawie panuje małe zamieszanie, bo wyniki sondażowe przeliczane są na mandaty przy pomocy różnych modeli, które w różnym stopniu uwzględniają wyniki na poziomie okręgów w poprzednich wyborach.

Tak jak w poprzednich wyborach parlamentarnych, podamy szacunkowy podział mandatów. Ale bez stosowania któregokolwiek z modeli, tylko analizując wyniki, jakie uzyskamy na poziomie okręgów, bo w każdym okręgu będziemy mieli po średnio 20 komisji. Rozdzielimy mandaty tak, jak zrobi to PKW na kompletnych wynikach, stosując metodę d'Hondta. Dzieli się liczbę głosów uzyskanych w okręgu przez kolejne listy przez kolejno 2, 3, 4... i wybiera tyle największych ilorazów, ile mandatów przypada na dany okrąg. Oczywiście biorąc pod uwagę listy, które pokonały próg wyborczy.

No właśnie, a jak jakaś lista uzyska 4,9 proc a koalicja 8,1 proc., to będziecie ją uwzględniać?

Będziemy używali tych danych, które będziemy mieli, albo przekroczyła próg, albo nie.

Podacie też szacunkową frekwencję.

A to jest akurat – w przypadku wyborów parlamentarnych – jedno z łatwiejszy zadań. Nasi ankieterzy liczą osoby wychodzące z lokali wyborczych i jak wspomniałem zgodnie ze swoim licznikiem zapraszają je do badania wręczając naszą ankietę. Liczymy też wszystkie osoby wychodzące, czyli głosujące we wszystkich komisjach biorących udział w naszym badania oraz znamy liczby osób uprawnionych w tych komisjach. Czyli wiemy, ile głosowało na ile uprawnionych i możemy oszacować frekwencję.

Przy okazji sprawdzimy, które modele przeliczania głosów na mandaty były bliższe rzeczywistości. Ale wróćmy do wieczoru wyborczego. O 21:00 podacie nam wyniki sondażu exit poll. Godzinę później dodacie jakąś drobną korektę.

Tak, ale te szacunki praktycznie nie będą się różnić. Po prostu uwzględnimy już wszystkich wyborców, tj. również tych głosujących pomiędzy 20:30 a 21:00.

Ostatni late poll w poniedziałek rano

Ludzie wysłuchają komentarzy polityków przegranych i wygranych, analityczki i analitycy będą tworzyć interpretacje, m.in. na wieczorze wyborczym OKO.press. Potem podacie bardziej miarodajne wyniki sondażu late poll. Z samej nazwy wynika, że wcześnie to nie będzie.

Late poll to kombinacja wyników sondaży exit poll i prawdziwych wyników już policzonych przez komisje obwodowe z naszej próby 900 komisji. Kiedy będziemy mogli je podać? To zależy od tempa pracy tych komisji.

W II turze wyborów prezydenckich 2020 roku informację late poll z uwzględnieniem wyników 50 proc. komisji, które zakończyły liczenie, podaliśmy zaraz po północy. Tym razem będzie trudniej, wybory parlamentarne są trudniejsze do policzenia przez PKW i bardziej czasochłonne. Nie wiemy też, na ile referendum opóźni liczenie wyników. Spodziewam się, że dane z 50 proc. komisji dostaniemy około drugiej, trzeciej nad ranem.

Kiedy cała Polska będzie spała śniąc lirycznie lub w formie koszmaru sennego o wynikach exit poll. A one się mogą właśnie zdezaktualizować.

Late poll z uwzględnieniem już 90 proc. wyników w komisjach podamy dopiero w poniedziałek rano, bliżej godziny 10:00 – 11:00. One będą już niemal idealnie zgodne z ostatecznymi wynikami wyborów. Błąd może wynieść ułamek procenta tak, jak już była mowa, do 0,5 pkt procentowego.

Rano pojawią się też pierwsze wyniki PKW... wyjątkowo niemiarodajne.

Tak bywało do tej pory, bo najszybciej spływają do PKW dane z obwodowych komisji we wsiach i w małych miejscowościach, gdzie jest po 400-500 uprawnionych i można szybko policzyć ich głosy. W drugiej kolejności przychodzą informacje z komisji w większych miastach, na końcu z metropolii. A wyniki w mniejszych ośrodkach różnią się zasadniczo od tych większych.

To irytujący zwyczaj, wiele osób przeżywa niepotrzebny stress.

Przyznam, że nie mam na to dobrego pomysłu. Nic nie publikować, dopóki nie spłyną wszystkie wyniki, to też niedobrze. Pojawiłyby się pytania, dlaczego nie ma wyników, a także jakieś przecieki. Chyba transparentne podawanie napływających wyników przez PKW jest lepszym rozwiązaniem, należy tylko mieć w głowie, że większą szansę mają najpierw wyniki z tych komisji, gdzie liczby uprawnionych są najmniejsze, czyli z terenów wiejskich i miasteczek.

Jest jeszcze akcja Obywatelskiej Kontroli Wyborów. Wylosowano 1024 komisje, społeczni obserwatorzy przekażą organizatorom z KOD wyniki w komisjach, których będą pilnować, jak tylko zostaną policzone.

Nie wiem, jak stworzono tę próbę komisji, a to jest trudne wyzwanie dla matematyka i statystyka. Jak się dobrze wylosuje taką próbę, to taki late poll jest niemal nieomylny. Nie ma więc powodu, żeby badanie OKW i nasze sondaże late poll się znacząco różniły.

Wypowiada się pan cały czas jak analityk odpowiedzialny za trudne zadanie. A jak pan przeżywa to wszystko jako człowiek, jako obywatel?

Bez wątpienia jest to bardzo emocjonujący dzień wieńczący długi okres przygotowań. Czuję zarówno dużą odpowiedzialność, jak i wielką powagę naszego badania. Natomiast, za każdym razem, choć tych badań przeprowadziłem już kilkanaście, nie do opisania jest uczucie, kiedy poznajesz przybliżony, co prawda, ale bardzo bliski prawdy wynik wyborów i wiesz, że za chwilę pozna go cała Polska.

Czy ankieterzy dostają przyzwoite pieniądze?

Kwot nie podam. Ale chyba tak, bo są chętni. Część koordynatorów i ankieterów już z nami pracowała, teraz wracają. Nie tylko z powodu pieniędzy. Oni czują, że wybory to ważna sprawa. A nasza praca to też obywatelska służba.

Wszyscy czujemy, jak odpowiedzialnego zadania się podjęliśmy. Wyłączamy emocje na czas analizy danych, ale ta świadomość towarzyszy nam non stop.

Współpracujecie z TVP, TVN i Polsatem. Karkołomne zadanie?

Może to pana zaskoczy, ale nie. Jesteśmy transparentni, wiadomo, że naszym celem jest wyłącznie podanie jak najlepszej prognozy wyniku wyborów. Nie jesteśmy postrzegani jako strona w sporze politycznym. Z każdą z tych telewizji w takim składzie współpracujemy już od blisko 10 lat i przeprowadziliśmy 12 badań exit poll** – to będzie nr 13. Naszym zadaniem jest dostarczenie szacunkowych wyników, natomiast stacje rywalizują już między sobą na atrakcyjność wieczoru wyborczego oraz odpowiadają za wszelkie wizualizacje i komentarze.

Spotyka się pan osobno z TVP i TVN, czy także razem?

Różnie, w zależności od sprawy. Jeżeli dotyczy jednej stacji, to komunikuję się oczywiście z nią. Jeżeli mam temat dla wszystkich, to komunikacja odbywa się ze wszystkimi. Współpracując od 10 lat nie ma też za wiele nowych rzeczy do ustaleń – wszyscy wiedzą, co mają robić i współpraca przebiega zarówno bezproblemowo, jak i miło.

Słowacja przeżyła torturę za sprawą sondaży. W wyborczą sobotę 30 września wieczorem, TV Markiza podała wyniki exit poll: wygrała Postępowa Słowacja z 23,5 proc. przed Smerem byłego premiera, populisty Roberta Fico. Liberalna Słowacja szła spać szczęśliwa, ale okazało się, że to Smer wygrał, a Postępową Słowację poparło tylko 18 proc. wyborców. Błąd o 5,5 pkt proc.! Czy to się może powtórzyć u nas?

Badanie exit poll to trudna sztuka. Trzeba zatrudnić i przeszkolić masę ankieterów, profesjonalnie zanalizować spływające wyniki. Sporo rzeczy może pójść nie tak. Co zawiodło w Słowacji? Nie wiem. Może próba była źle wylosowana, może były kłopoty w czasie realizacji, na przykład jakaś grupa wyborców odmawiała wypełnienia ankiety i nie zostało to uwzględnione.

Nie było to badanie Ipsosa?

Na pewno nie (śmiech).

*Ipsos jest trzecią co do wielkości firmą badawczą na świecie, obecną w 90 krajach. Zatrudnia ponad 16 tys. pracowników i pracuje dla 5 tys. klientów na całym świecie. Posiada międzynarodowe doświadczenie w realizacji badań społeczno-politycznych oraz w badaniach exit poll, szczególnie we Francji, Stanach Zjednoczonych, Kanadzie i Wielkiej Brytanii. W latach 2014-2020 Ipsos przeprowadzał badania exit poll podczas odbywających się w tym czasie wszystkich wyborów w Polsce (wybory do Parlamentu Europejskiego 2014 i 2019, wybory samorządowe 2014 i 2018, wybory prezydenckie 2015 i 2020 oraz wybory parlamentarne 2015 i 2019). Od 2016 roku Ipsos robi też regularne sondaże społeczno-polityczne dla OKO.press (od końca 2022 roku dla OKO.press i TOK FM).

** Licząc odrębnie I i II turę w wyborach samorządowych i prezydenckich