Miliony odpowiedzi nie uratują źle dobranej próby
Bardzo duża próba może dać niezwykle precyzyjny, a jednocześnie systematycznie błędny wynik. Klasyczny przykład to sondaż „Literary Digest” z 1936 roku: magazyn rozesłał około 10 milionów kart i otrzymał około 2,4 miliona odpowiedzi, a mimo to błędnie przewidział zwycięzcę wyborów prezydenckich w USA. Późniejsze analizy wskazały zarówno bias ramy doboru, jak i silny bias odpowiedzi. Matematyczna lekcja jest ponadczasowa: zwiększanie n zmniejsza przypadkowy błąd próbkowania, ale nie usuwa systematycznego błędu tego, kto w ogóle trafia do danych.
Duże n rozwiązuje tylko część problemu
W idealnym losowym próbkowaniu większa liczba obserwacji zmniejsza standardowy błąd estymacji. Stąd intuicja: milion odpowiedzi musi być lepszy niż tysiąc. Ale ten argument dotyczy losowej zmienności wokół właściwego celu. Jeśli próba jest przesunięta względem populacji, zwiększanie jej rozmiaru może jedynie sprawić, że bardzo dokładnie oszacujemy średnią niewłaściwej grupy.
Sondaż, którego skala nie uratowała
W 1936 roku „Literary Digest” wysłał około 10 milionów kart, z których wróciło około 2,4 miliona. Sondaż wskazywał Alf Landona, tymczasem wybory zdecydowanie wygrał Franklin D. Roosevelt. To ogromna próba jak na dowolny okres historyczny. Błąd nie wynikał więc z braku danych, lecz z mechanizmu ich pozyskania.
Co dokładnie było nie tak
Popularna wersja historii podkreśla listy telefonów i rejestracje samochodów, które w epoce Wielkiego Kryzysu nadreprezentowały zamożniejszych wyborców. Badanie Peverilla Squire’a z 1988 roku, wykorzystujące dane z sondażu Gallupa z 1937 roku, wskazało jednak, że znaczenie miał zarówno bias próby, jak i bias odpowiedzi; gdyby odpowiedzieli wszyscy wylosowani przez magazyn, wynik przynajmniej wskazałby właściwego zwycięzcę. To dobra korekta zbyt prostej podręcznikowej legendy.
Precyzja i trafność to różne rzeczy
Duże n daje wąskie przedziały niepewności tylko względem modelu próbkowania. Jeśli model ignoruje selection bias, te przedziały mogą być bardzo wąskie wokół błędnej wartości. W metrologii powiedzielibyśmy, że pomiar może być precyzyjny, lecz obciążony. W badaniach społecznych odpowiednikiem jest tysiące konsekwentnie źle dobranych respondentów.
Dlaczego współczesne badania stosują wagi
Dobre sondaże próbują modelować różne prawdopodobieństwa znalezienia się w próbie i odpowiedzi, a następnie stosują wagi kalibracyjne do znanych cech populacji. Nie jest to magiczna naprawa: nie można skorygować różnic w zmiennej, o której nic nie wiemy. Dlatego metodologia próby, pokrycie populacji, nonresponse i sposób ważenia są ważniejsze niż imponująca liczba odpowiedzi w nagłówku.
Jak czytać „badanie na 100 000 osób”
Liczebność ma znaczenie, ale dopiero po pytaniu: skąd wzięli się respondenci? Kto nie mógł się znaleźć w próbie? Kto odmówił? Czy analiza uwzględnia znane różnice? Próba 1000 osób może być lepsza od próby miliona, jeśli pierwsza reprezentuje populację zgodnie z dobrze zdefiniowanym projektem, a druga jest samoselekcją. Statystyczna jakość nie rośnie automatycznie razem z liczbą rekordów.
Margines błędu nie obejmuje wszystkiego
Popularny margines błędu sondażu opisuje przede wszystkim niepewność wynikającą z losowego próbkowania w określonym modelu. Nie jest automatycznym ubezpieczeniem od złej ramy doboru, samoselekcji, nieodpowiedzi, błędów pomiaru czy źle sformułowanych pytań. To dlatego gigantyczna liczba odpowiedzi może dać bardzo wąski przedział wokół wartości, która nadal jest systematycznie przesunięta względem populacji. Zwiększanie n zmniejsza część wariancji losowej mniej więcej zgodnie z prawem pierwiastka z liczebności, ale nie musi zmniejszać biasu. Historia Literary Digest jest przez to ciekawsza niż opowieść „duży sondaż przegrał z małym”: problemem nie była sama liczba ankiet, lecz sposób, w jaki ludzie znaleźli się w próbie i w jaki odpowiadali.